匹配正文：…量分。常见级联是先做低风险确定性规范化与去重，再用规则或轻量分类器过滤明显样本，把不确定语义案例交给LLM，最后对高风险删除进行人工复核。各层都应保留原因码和原文引用，支持回滚。规则先删掉多少数据完全由当前语料决定，不设固定比例。 LLM清洗还要防提示注入、内容泄露和输出不稳定。如果文本包含指令，模型可能偏离分类任务；外部API还涉及数据许可与隐私。使用结构化输出、隔离prompt、版本固定和抽样审计，并让模型输出证据片段，可以提高可追踪性，但仍不能替代人工gold。最终…

#数据清洗#数据工程#训练数据构建

面试题·模型训练· 美团

批量文本清洗如何自动质检?

匹配正文：… = 人工抽检中"好数据被删"占比残留风险 = 敏感信息检出率（目标>99.9%）验证机制：自动采样：每批次随机抽1000条人工复核 A/B回灌：清洗前后数据各训一个小模型对比下游任务规则覆盖度：定期用新样本测试规则盲区五、工程实践要点灰度发布：新规则先跑1%流量，观察3天再全量血缘追踪：每条数据保留清洗日志，问题可溯源成本监控：设置单条处理耗时/费用告警阈值

#数据清洗#数据预处理#数据流水线

面试题·项目与经历· 美团

信息抽取：规则 vs LLM

匹配正文：…：确定性校验和高风险决策交给规则，模糊语义抽取交给 LLM，输出再经过 schema、词典、范围与跨字段校验，低置信或冲突样本进入人工复核。选型应在同一金标集上比较准确率、覆盖率、单位成本、端到端延迟、失败严重度和维护工时，并通过流量分布计算总拥有成本，而不是只比较一次 API 价格。

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#规则引擎#LLM应用#成本优化

面试题·项目与经历· 百度

大模型 vs 规则引擎怎么选?

匹配正文：…。即使输出一个分数，也要在代表性验证集上校准，并按类别与分布漂移检查。更稳妥的是结合证据完整性、规则冲突、输入是否分布外和多模型或人工复核，设计拒绝与升级机制。关键交易不能因为模型说很确定就绕过审批。何时更适合大模型，要看问题主要成本是否来自语义理解。如果输入已经结构化、规则稳定且错误成本高，规则通常更合适；若大量人工时间消耗在理解自然语言和整理候选，大模型可作为前置层。规则频繁变化也不必自动换模型，可能只需更好的决策表和版本管理。评测会分别测字段抽取、候选召回、规则执行…

#技术选型#规则引擎#大模型决策

面试题·项目与经历· 美团

Agent 未来规模化方向

匹配正文：…材料、生成审核摘要或把异常路由给合适人员；金额计算、重复报销、预算、权限、制裁名单、会计规则和最终审批必须由权威数据、确定性规则及人工复核负责。财务错误往往难以完全回滚，还可能造成资金、合规和审计损失，不能用“可回滚、损失不大”降低风险。商业化评估要同时看任务频率、当前人工成本、可接入系统、可验证结果、异常比例、监管责任和单位经济性。技术指标包括任务完成率、工具调用正确率、未授权操作率、人工接管率、延迟和单任务成本；业务指标使用真实基线测量周转时间、积压和返工。上线从只读建…

#Agent商业化#B端落地#成本效益分析

面试题·项目与经历· 商汤科技

数据预处理关键步骤与目的

匹配正文：… PSI、KS、Jensen-Shannon、Wasserstein、类别占比、缺失率、重复率、约束失败率等指标，并结合业务表现与人工复核设阈值。阈值由历史波动和风险成本校准，不是看到任意距离变化就自动增量训练。Self-RAG 是让生成模型按需检索并用反思 token 评价检索与生成的 RAG 方法，不是通用数据漂移检测或自动清洗触发器。

#数据清洗#数据增强#数据采样

面试题·推理优化· 商汤科技

工程化核心目标是什么?

匹配正文：…能跨硬件、软件版本、并行调度和浮点实现保证完全一致。成本以成功任务为单位计算 GPU 时间、token、检索、存储、网络、重试和人工复核，通过连续批处理、前缀/KV cache、路由、量化与 autoscaling 优化，同时做质量回归。Toolformer 是训练语言模型决定何时、如何调用 API 并利用结果的方法，不是运行时热插拔插件架构。生产工具系统仍需 schema 版本、权限、超时、幂等、沙箱、审计和回滚。

#大模型工程化#系统架构设计#推理优化

面试题·评估· 字节

多Agent冲突怎么检测与缓解?

匹配正文：…高）混合式：日常自治，冲突时升级至仲裁层（字节常用，兼顾效率与正确性）工程实践要点给每个决策附加置信度分数，低置信度自动触发人工复核或多方确认设计优雅退出机制：Agent异常时广播"遗言"，释放占用的资源锁

#字节#评估与监控#Agent

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配正文：…token/工具成本和人工接管，并保留版本、轨迹与回滚点。LLM 裁判可辅助分桶，但安全边界和关键成功条件应由规则、真实执行结果或人工复核确认。 7. 用失败分类驱动迭代把失败区分为模型选择错误、参数生成错误、工具/权限错误、环境变化、状态机缺陷和评测缺口，再决定改 schema、工作流、数据、SFT 或策略优化。工具文档频繁变化时，优先更新运行时 schema、检索资料和回归集；持续预训练成本高且会把过期细节写入权重，不应作为“定期同步工具文档”的默认方案。

#美团#Agent#Agent 训练链路

面试题·评估· 京东

知识型与行为型错误诊断

匹配正文：…具选择、拒答和结构化输出可用监督、偏好优化或 RL；数学与代码等任务结合执行器或验证器；高风险问答将 RAG、工具验证、校准拒答和人工复核一起使用。评估拆分检索 Recall、证据忠实度、事实正确率、工具成功、拒答校准、奖励投机和端到端成功率。RAG 与 RL 是互补组件，不是互斥万能方案。图解知识型与行为型错误诊断图解

#京东#RAG 与强化学习#知识型与行为型错误诊断

面试题·评估· 蚂蚁

RAG 检索与生成评估

匹配正文：…注query-doc的相关性标签（二元或分级） Embedding/LLM可辅助产生候选标注，但它们有噪声和评估循环风险；应以独立人工复核集校准，不能直接把同一检索器的相似度当黄金相关性。二、生成质量评估忠实性（Faithfulness）答案是否基于检索内容，有无幻觉常用方法：NLI模型判断陈述与文档的蕴含关系答案相关性（Answer Relevance）答案是否直接回应问题，有无跑题可用问题-答案Embedding相似度或LLM打分上下文相关性（Contex…

#蚂蚁#评估与监控#RAG 检索与生成评估

面试题·评估· 阿里

训练/推理/知识增强怎么选?

匹配正文：…权限过滤和引用定位。检索错误、文档冲突、提示注入或模型忽略证据时仍会失败。后处理：拆分可验证声明，用权威数据源、规则、专用模型或人工复核。验证器也会出错，并增加延迟与成本。产品策略：展示证据和不确定性，允许澄清与“不知道”，按风险限制自动执行范围。评估应分别测检索命中、引用正确性、证据忠实度、事实准确率、校准、拒答质量和端到端任务成功率。目标是降低可测风险并让错误可追溯，而不是宣称消除幻觉。图解训练/推理/知识增强怎么选?图解

#阿里#幻觉治理#大模型幻觉缓解

面试题·评估· 安克科技

RAG 问答金标构建

匹配正文：…问题换表述多次提问，答案稳定性检测负样本注入混入文档中不存在答案的问题，测试拒答能力专家抽检 10%随机抽样+100%对抗集人工复核多样性维度设计文档维度类型：结构化表格、非结构化文本、图文混排长度：短片段（<512 token）、长文档（>4k token）领域：单领域深度 vs 跨领域混合问题维度答案位置：头部/中部/尾部/跨文档复杂度：单跳检索 → 多跳推理 → 数值计算 → 时序推理挑战性：显性答案 vs 隐性推断 vs 需要否定回答关键比例…

#安克科技#评估与监控#RAG 问答金标构建

面试题·模型微调· 字节

大模型输出JSON怎么保正确?

匹配正文：…重新校验；截断输出不可被当作完整业务结果。字段缺失：只有协议明确允许的默认值才可补；金额、决策、身份等关键字段应有界重试或失败/人工复核。类型错误：避免静默强转掩盖错误，按schema严格校验并记录有界重试/降级。四、模型与训练层面选型：比较候选模型在目标schema上的合法完成率、任务准确率、延迟与成本；Code标签或训练语料类型本身不能证明一定优于通用模型。 SFT：构造<指令, Schema, 正确JSON>数据对微调偏好优化：可用合规/不合规输出构造偏好对训…

#字节#Agent#大模型 JSON 输出

面试题·知识图谱· 澜舟

LLM 事实准确性怎么保证?

匹配正文：…-of-Verification：先生成回答，再自动提取事实claims进行二次检索验证引用溯源：每个结论强制附加来源编号，支持人工复核 3. 一致性保障机制多模型交叉：主模型+专用校验模型（如训练事实核查分类器）并行输出，不一致时触发降级时序一致性检查：对时间序列数据（如"2023年Q3营收"）校验与历史数据的逻辑连贯性规则硬约束：内置金融规则引擎（如会计恒等式校验），拦截明显违背常识的输出 4. 金融特有设计可审计日志：完整记录检索来源、模型版本、人工复核标记，…

#澜舟#LLM 事实准确性#知识图谱 LLM

面试题·知识图谱· 字节

医疗法律 RAG 合规追溯

匹配正文：…效性诊疗指南版本管理法条修订追踪、地域差异权威性多源证据等级标注判例效力层级（指导案例>参考案例）风险管控风险提示+人工复核触发执业资质校验+边界拒答四、迭代优化闭环线上收集bad case → 归因（检索漏召/排序错位/生成幻觉）→ 针对性补充数据或调整策略

#字节#医疗法律 RAG 合规追溯#医疗和法律 RAG 怎么做安全合规与证据追溯

面试题·多模态· 美团

弱多模态+强文本模型怎么协同?

匹配正文：…确认。 2. 错误控制文本模型的自我质疑不能证明视觉事实正确；关键 claim 应通过再次感知、独立 OCR/检测器、规则校验或人工复核验证。置信度需要在目标数据上校准，不能把 0.6、0.85 等数值当作通用路由阈值。两模型答案不一致只表示需要诊断，不能仅凭语义相似度判断哪一侧正确。 3. 部署优化按图像尺寸和任务类型动态批处理，缓存同一图像或同一文档页的感知结果，并用内容哈希、模型版本和预处理版本作为缓存键。跨不同请求复用视觉 KV Cache 只有在前缀完全兼容…

#美团#多模态#Agent

面试题·Prompt· 字节

RAG Generator Prompt 整合原理

匹配正文：…后处理引用溯源：正则提取模型输出的[source_id]，与原文对齐验证置信度过滤：对低概率生成的token序列触发二次检索或人工复核答案重排序：多候选生成时用轻量模型打分，选最优输出学习建议建议先掌握RAG基本流程，理解Prompt构成要素，再学习常见模板设计与推理优化方法，结合实际案例练习Prompt编写。

#字节#Prompt工程#RAG Generator Prompt

面试题·Prompt· 阿里

Prompt优化怎么评估准确性与效率？

匹配正文：…ion的合理性工具级工具调用准确率参数填充正确、时机选择合理关键：人工标注成本高，可用LLM-as-Judge做初步筛选，人工复核边界case。二、稳定性指标输出一致性：相同输入多次运行的结果一致性（用BERTScore或任务特定相似度）方差控制：关键指标的标准差，避免Prompt导致"时好时坏" 异常率：幻觉、循环、格式错误等失败模式占比三、效率指标 Token效率 = 有效信息产出 / 总Token消耗延迟分解 = 首Token时间 + 每步平均耗时 ×…

#阿里云#Prompt工程#评估与监控

面试题·检索· 字节

RAG 什么时候需要重排？

匹配正文：…理延迟、计算成本和运维复杂度符合业务预算。这些条件不意味着某个行业“必须重排”。医疗、金融等高风险场景首先需要来源、权限、时效、人工复核和责任边界，重排模型不能替代这些控制。如何验证冻结语料、查询集、相关性标注、候选生成配置和权限条件。记录候选 Recall@K，确认排序阶段拥有正确证据。比较 MRR、nDCG、最终上下文中的证据覆盖、逐主张支持与任务正确性；保留无答案和长尾切片。同时测量重排服务的 P50/P95/P99、吞吐、超时率、候选数量分布和成本。做消…

#RAG#重排#Cross-Encoder

面试题·检索· 高德

RAG 的检索、增强与生成如何可靠衔接？

匹配正文：…构化输出是否通过 schema，以及敏感动作是否仍需确认。引用能帮助核查，但不会自动消除幻觉。高风险任务需要确定性规则、外部校验或人工复核。多轮场景要区分会话历史与知识证据，重新执行权限和时效检查。页面刷新或恢复任务时，展示已持久化的真实状态，而不是仅恢复前端文本。 5. 用链路指标验证知识层：解析成功率、版本/删除传播时延、权限一致性；检索层：Recall@K、MRR/nDCG、各切片漏召与过滤原因；上下文层：支持证据保留率、截断和引用映射正确率；生成层：逐主张支…

#RAG#知识库#检索

面试题·RAG

扫描 PDF 没有文本层，RAG 怎么做 OCR 与失败降级？

匹配追问：怎样判断字符层不可用，而不是一律做 OCR？ OCR 有文字但顺序错时，你查哪一层？低置信度页面怎样重试、降级与进入人工复核？怎样验证 OCR 结果仍能回到原页和原区域？

#RAG#解析与入库#扫描 PDF RAG

面试题·RLHF与对齐· 美团

Agent 奖励如何对齐目标并防作弊?

匹配口述回答：…而是目标、证据和约束一致。奖励在离线评测上有效，也可能在线上因用户或环境适应而失效。应监控奖励分量与真实成功的相关性，并定期抽样人工复核。若策略开始找到新的捷径，先暂停扩大训练，修复环境和验证器，再重新收集数据。持续治理比一次设计出复杂公式更现实。定义真实目标与代理信号处理稀疏奖励和信用分配加入潜势塑形边界用隐藏验证防作弊区分RLHF与DPO 约4分钟普通距离奖励与potential-based shaping在保持最优策略方面有什么区别。可继续讨论隐藏测试、…

#奖励工程#RLHF#稀疏奖励

面试题·项目与经历· 360

扫描PDF怎么解析内容?

匹配口述回答：…则和跨字段求和；对合同可处理条款编号与跨页段落；对论文要分离双栏、公式与参考文献。模型纠错只能生成候选，关键字段仍要回看原图或进入人工复核。质量闭环应分层。OCR 层看字符错误率与词错误率，版面层看区域类别和定位指标，阅读顺序看段落序列，表格看结构与单元格内容，业务层看关键字段 precision、recall 和整单通过率。按语言、字体、清晰度、扫描倾斜、表格复杂度和文档来源切片，低置信区域保留坐标供审核。上线还要记录失败页、模型版本和预处理参数，才能复现问题。这样即使更…

#文档智能#OCR#版面分析