匹配正文：…案，降低单条CoT的随机性 ToT（思维树）：维护多条推理分支，用评估函数剪枝/扩展，适合需要探索的复杂决策（如24点游戏）四、自动化优化 DSPy：将Prompt构建转为可优化的编程框架，自动调优指令和示例 APE（Automatic Prompt Engineer）：用LLM itself生成并筛选候选Prompt，迭代优化选型建议：简单分类任务用Few-shot+格式约束即可；数学推理必加CoT；多步决策尝试ToT；生产环境建议接入DSPy等框架做系统优化。

#阿里#Prompt工程#Prompt 优化方法

面试题·模型微调· 科大讯飞

Prompt 怎么设计和优化?

匹配口述回答：… 结果只填写【真实结果】，并保留 Prompt diff、失败样本和实验配置。如果同一轮还换了模型或数据，我不会把收益全部归因于 Prompt。上线后按 Prompt 版本灰度和监控，出现关键切片退化就回滚；如果问题来自知识缺失、权限或模型能力上限，我会改用 RAG、工具或微调，而不是继续加提示词。 Prompt本质是约束模型行为的边界条件设计原则：系统与用户解耦、具体化约束迭代方法：从Badcase到自动化评估业务案例：工单分类的准确率与成本双优化风险与取舍：Pro…

#科大讯飞#阿里#模型微调

面试题·Prompt· 字节

Prompt 工程方法怎么选?

答案要点区分手动Prompt设计与自动化优化两大范式讲清连续提示（Prompt Tuning）vs 离散提示（AutoPrompt等）的本质区别能对比效果、效率、适用场景三维度提及实际落地中的选择考量（如API黑盒场景的限制）一、手动设计方法核心思路：基于经验规则构造离散文本模板 Few-shot：在Prompt中嵌入示例，引导模型模仿输出格式 Chain-of-Thought (CoT)：显式写出推理步骤，激发多步推理能力角色设定与指令分解：通过System …

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：

#字节#Prompt Engineering 方法#Prompt Tuning vs AutoPrompt

面试题·模型微调· 快手

Agent 系统怎么调优优化?

匹配正文：答案要点 Agent调优的三种主要范式（SFT、RL、Prompt工程）及其适用场景工具调用能力的专项优化方法当前主流Agent应用的技术架构特点多Agent系统的协作机制设计 Agent系统调优的三大路径 1. 监督微调（SFT）工具调用数据构造：收集高质量的工具调用轨迹（trajectory），包括思考过程（thought）→工具选择→参数填充→结果观察的完整链条 ReAct格式微调：用"Thought: ... Action: ... Observation: …

#快手#Agent#Agent 调优

面试题·Prompt

什么是 Prompt 工程?

匹配正文：…ompt 工程是通过设计输入文本（提示词），在不改动模型参数的前提下引导模型给出更好输出的方法大模型本质是"根据上文预测下文"，prompt 就是那个"上文"；上文变了，模型认为合理的下文自然跟着变效果差异大的原因：任务描述是否明确、有没有示例、有没有指定角色/格式/推理步骤常用技巧：明确任务与约束、给示例（few-shot）、让模型分步思考（思维链）、指定输出格式它是成本最低的优化手段：先调 prompt，不行再考虑 RAG 或微调核心概念 Prompt 工程（P…

#入门#基础概念#Prompt工程

面试题·Prompt· 华为

Prompt Engineering 技巧怎么选?

匹配口述回答：…工具由服务端鉴权和确认。模型升级后重跑回归；如果失败根因是缺知识、缺权限或模型能力不足，就把问题交给 RAG、工具或微调，不继续堆提示词。 Prompt工程本质是引导模型行为基础技巧：角色锚定、格式约束、负面指令场景化技巧：RAG用引用强制，Agent用ReAct框架业务案例：法务问答的幻觉治理工程师判断：Prompt是手感活，要结合校验和版本管理约90秒自动化Prompt优化方法，根据bad case自动调整指令，类似Self-RAG的反思机制。面试官可能会追…

#华为#Prompt工程#Prompt Engineering 技巧

面试题·Agent· 字节

大量工具怎么选?

匹配正文：答案要点工具分层/分类架构设计基于语义的工具检索机制工具描述优化与向量化延迟优化策略（预加载、缓存、并行）工具学习/自动化工具发现核心挑战分析工具选择困难：LLM上下文窗口有限，无法一次性加载所有工具描述；相似工具难以区分调度复杂：工具间存在依赖、互斥、资源竞争；执行顺序影响结果响应延迟：工具检索+LLM决策+实际调用链路长解决方案 1. 层次化工具架构工具分类层：按领域/功能预分类（如"数据库类""搜索类"），先选类别再选具体工具元工具（Meta-t…

#字节#百度#Agent

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：…上下文金融领域加粗体匹配规则（如"第X条"精确命中）重排序用bge-reranker或轻量LLM打分三、生成模块：可控输出 Prompt工程系统角色固化："你是资深医疗顾问，基于以下参考资料回答，不确定时请说明" 上下文组织：按相关性排序，标注来源编号支持溯源输出约束：JSON结构化（诊断/依据/置信度）或特定格式（法律意见书模板）关键优化上下文压缩：LLMLingua去除冗余，保留核心证据句引用生成：强制要求标注来源，避免幻觉四、评估与迭代自动化指标检…

#字节#领域 RAG#RAG应用搭建

面试题·Prompt· 百度

AI Agent组件如何协同工作?

匹配正文：…为可执行的子步骤推理策略：支持CoT（思维链）、ReAct（推理+行动交替）、ToT（思维树）等模式动态调整计划，根据反馈迭代优化 3. 记忆系统（Memory）短期记忆：当前对话上下文、会话窗口内的信息长期记忆：向量数据库存储的历史经验、用户画像、领域知识通过检索增强实现跨会话的个性化服务 4. 工具/行动模块（Tools & Action）工具注册：外部API、数据库、计算引擎等工具选择：根据规划结果动态选择合适工具参数解析：将自然语言转化为结构化调用参数…

#百度#Agent#AI Agent 核心组件

求职指南·求职

转大模型应用开发路线图(2026):研究生/Java 后端要学什么、多久上岸

匹配正文：…败案例技术决策为什么这么切块、这么检索、这么评估方案对比表、参数选择依据量化反馈做完到底有没有变好小评估集、错误样例、优化前后对比追问准备出问题时你是否知道边界失败原因、替代方案、下一步优化站内两条项目线对应两种简历打法: RAG 智能问答系统:适合大多数后端、Java、信息系统、企业知识库方向。它覆盖文档切分、向量检索、重排、Query 改写、记忆、引用、评估。 Deep Research Agent:适合想冲 Agent、研究助手、自动化调研、工具调用…

#求职#职业转型

求职指南·求职

大模型应用开发岗和算法岗有什么区别、普通工程师怎么选

匹配正文：…时候值得碰。面试准备差异:刷题也不能刷错方向目标岗位重点题库模块项目准备 RAG 应用开发 RAG 基础、向量检索、重排与优化、评估与监控 RAG 智能问答系统做深 Agent 开发 Agent、Prompt 工程、工具调用相关题 Deep Research Agent做深应用算法/微调模型微调、RLHF 与对齐、模型训练轻量微调项目 + RAG/Agent 应用场景推理部署/LLMOps 推理优化、模型架构、评估监控高并发推理、成本和稳定性案例如果你还在…

#求职#职业转型

求职指南·求职

2026 大模型岗就业市场:招聘量、城市、薪资档位、哪些公司在招

匹配正文：… 2026 年市场更偏好哪类能力从站内题库模块分布看,题量最高的几个模块分别是 Agent 154 题、评估与监控 121 题、Prompt 工程 77 题、重排与优化 70 题、RAG 基础 62 题。这和应用落地趋势一致:企业不是只问“你知不知道大模型”,而是追问“你能不能让它稳定工作”。能力为什么重要对应准备 RAG 工程企业知识库、客服、文档问答最常见 RAG 智能问答系统 + RAG 基础题 Agent 工程工具调用、自动化流程、研发助手需求增加 Dee…

#求职#职业转型

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：… 文档处理、切块、Embedding、检索、重排、引用、评估后端、数据、企业系统、知识库项目背景 RAG 基础、向量检索、重排与优化 Agent 开发让模型调用工具完成多步任务工具 schema、任务规划、状态机、记忆、异常兜底后端、全栈、自动化、研发工具背景 Agent、Prompt 工程推理部署/LLMOps 让模型服务稳定、便宜、跑得快模型服务、并发、显存、KV Cache、监控、灰度后端、SRE、平台工程、基础架构背景推理优化、模型架构应用算法/微调…

#求职#职业转型

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…有一张最终分数截图，而没有逐题结果，出现退化时很难定位。 Chunk 参数应该这样测出来固定模型、Top K、Rerank 与 Prompt，只比较切分配置带来的真实变化。指标怎么选，才不会只优化一个漂亮数字 Recall@K：正确证据有没有进入候选集如果标准证据完全没进前 K，后面的重排和生成通常无从补救。Recall@K 适合观察切分后“该找的内容能不能找到”。但它也可能被重复结果欺骗。三个高度相似的重叠块都命中同一证据，不能算找回了三份有效信息。因此评估时应按证…

#RAG#切分与索引#Chunk Size

项目实战·Agent

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

匹配正文：…告还不够,中间「该不该多查一步、有没有交叉验证」的过程质量也得评。评估难,但不评估更危险:你根本不知道改一版到底是变好还是变坏,优化就成了盲人摸象。本章讲的就是:怎么给这种开放任务,建立一套靠谱的评估。为什么难评估:调研任务没标准答案,「跑通」≠「做得好」,过程也要评概念:评估两个层面(结果质量 + 过程质量) 调研 Agent 的评估,要同时看「交出来的东西」和「怎么做出来的」: 评估两个层面:结果质量(报告好不好)+ 过程质量(调研做得规不规范) 结果质量(评最终报…

#Agent#Deep Research#项目实战

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配正文：…现的失败集合。明确输入、期望输出、当前输出、业务代价和评测脚本，再按来源、长度、难度、语言和失败类型切片。若指标或标签不稳定，任何优化都可能只是追逐噪声，所以先做人工复核和近重复检查。数据侧要看目标场景是否覆盖、标签是否一致、训练与验证是否泄漏，以及失败样本是否集中在特定模板或时间段。分布漂移可以用特征统计、类别比例、模型置信与真实错误率联合观察。t-SNE适合探索局部可视化，但会扭曲全局距离，不能单独作为样本属于分布外的证据。系统侧要把基础模型、prompt、检索、工具…

#模型调试#bad case分析#数据质量

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…ge 可以读取任务 contract、候选答案、证据和 rubric，按维度输出分数与理由。它比纯人工更容易扩展，也能保持固定 Prompt 下的基本一致性。它还适合做错误初筛、Pairwise 版本比较和样本优先级排序。但 Judge 的价值是自动化近似，不是替代事实验证与人工责任。 URL 是否存在、引用 ID 是否匹配、计算是否可复算、工具是否执行，应优先用规则和真实 Trace。高风险事实、Judge 分歧和新型失败仍需人工复核。 LLM Judge 的价值与…

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·推理优化· 百度

13B模型INT8/INT4量化后多大?

匹配正文：…定质量门槛下仍有收益，才接受该量化配置；裸权重估算不能替代端到端profile。部署还要区分预填充和逐token解码。预填充在长prompt下可能更偏计算瓶颈，解码在小batch时更偏权重带宽；同一个INT4模型在两阶段的加速比可能完全不同。权重压缩也不会自动压缩KV，除非另外采用KV量化或改变注意力头结构。多卡时，张量并行通信和每卡分片粒度也会改变收益，模型能装下只代表容量达标，不代表延迟达标。因此性能结论必须同时注明阶段、并发、序列长度、硬件和推理框架版本。图解 1…

#模型量化#INT8/INT4#显存优化

面试题·项目与经历· 美团

信息抽取：规则 vs LLM

匹配题目：在数据预处理与信息提取任务中，如何权衡使用基于规则的方法与基于大语言模型（LLM）的自动化处理？各自的适用场景、优缺点及成本考量是什么？

#规则引擎#LLM应用#成本优化

面试题·评估

RAG 效果差怎么排查？

匹配正文：…xt Utilization：模型是否有效利用了检索到的关键信息典型生成故障模式现象根因解法忽略检索内容，依赖参数知识 Prompt未强调"严格基于上下文" 显式指令 + citation要求拼接多个文档信息产生幻觉长context注意力分散压缩context或重排序去噪答案正确但未引用来源缺乏训练或指令跟随不足 SFT/RLHF强化引用格式第三步：系统化追踪工具 RAGAS / ARES：自动化评估检索→生成的全链路 LangSmith / Phoen…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估· 小鹏

RAG 失败场景诊断

匹配正文：…检：Bad case分析，建立错误分类体系（检索失败/理解错误/幻觉/格式问题）实践建议分层监控：线上先卡检索Recall，再优化生成质量构建评估集：从真实日志采样，覆盖高频Query和边界Case A/B测试：检索策略、Prompt、重排序模型的对比实验

#小鹏#评估与监控#RAG 失败场景诊断

面试题·评估· 蚂蚁

大模型客服评估：伪代码与指标

匹配正文：….), temperature=0.3, # 低温度保证稳定性 response_format="json" ) # 自检：用独立prompt验证证据真实性 if not self.verify_quotes(response, segment): response['confidence'] *= 0.5 return response 4. 关键优化点成本：长对话先走摘要模型（小模型），仅关键片段用大模型稳定性：同一对话多次采样，取众数或加权平均幻觉防控：强制要求引…

#蚂蚁#客服质量评估#大模型评估系统

面试题·评估· 淘天

RAG 核心指标优先级

匹配口述回答：…评估本质是约束生成正确性检索端：Recall决定上限，Hybrid Search兜底生成端：Faithfulness是生命线，自动化指标有坑业务落地：延迟成本和人工抽检，上线前先跑大样本收尾：可延伸点—评估体系与数据飞轮的关系约4分钟评估体系如何与数据飞轮结合，自动标记低分case并反哺优化面试官可能会追问：具体怎么自动化标记？反哺到检索还是生成？有没有实践经验？

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配口述回答：…果的排名倒数求平均，更偏向首个命中的排序质量。如果MRR低，说明正确答案虽然召回了但排在很后面，生成模型可能压根没用到它，那就需要优化排序。再就是生成层。传统NLP指标像BLEU、ROUGE，在RAG里参考意义有限，因为答案可以措辞不同但意思对。我更关注[[Faithfulness]]，也就是忠实度，说白了就是生成内容有没有被检索文档支持。它与Answer Correctness关注不同问题：忠实于错误资料仍可能不符合现实事实，不能给二者排通用名次。宁可答得少，不能瞎编。比…

#淘天#评估与监控#RAG 线上效果评估