匹配正文：…,用户感觉「失忆」摘要压缩把久远内容总结成短摘要放回上下文保留主干;细节丢失,摘要本身也要耗一次调用 RAG 长资料切块存入向量库,提问时只检索最相关的几块塞进上下文资料可以无限大;但引入「检索质量」这个新变量实际工程的组合拳成熟的对话系统通常是:最近几轮对话保留原文 + 更早的对话滚动摘要 + 领域知识走 RAG,三者拼成最终的 prompt。入门后可以深入长上下文外推技术(RoPE 插值、YaRN),以及「窗口大了但中间内容记不住」的 Lost in the…

#入门#基础概念#上下文窗口

面试题·知识图谱· 淘天

伪多模态与原生多模态差在哪?

匹配正文：…跨模态相似度计算典型链路：图像+文本 → 多模态encoder（如CLIP dual encoder/EVA-CLIP）→ 联合向量 → 检索 → 多模态LLM生成本质：端到端的跨模态对齐，保留原始模态信息三维度对比维度伪多模态真多模态信息融合模态转换有信息损失（caption瓶颈）原始特征直接对齐，保留细粒度视觉信息模型架构解耦设计：视觉编码器+文本RAG+LLM三阶段统一架构：多模态encoder + 多模态LLM（如LLaVA、Qwen-VL） …

#淘天#知识图谱#伪多模态RAG

面试题·RAG· 百度

对话模型准确性怎么提?

匹配正文：…用场景和 trade-off 体现对前沿技术（如Self-RAG、Toolformer等）的了解回答有层次感，不是简单罗列一、模型架构层面知识增强架构检索增强生成（RAG）：把外部检索到的资料作为生成上下文，检索器与生成器可以独立更新；不要求生成模型采用编码器—解码器架构。 Self-RAG：引入反思token（Retrieve/IsRel/IsSup/IsUse），让模型自主决定何时检索、如何使用 Toolformer范式：预训练阶段嵌入API调用能力，将外部工具调…

← 上一页第 2 / 2 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#百度#对话模型准确性#模型架构优化

求职指南·求职

转大模型应用开发路线图(2026):研究生/Java 后端要学什么、多久上岸

匹配正文：…用。所以这条路线的判断标准很简单: 你要证明什么面试官会怎么问该准备什么你懂模型基本行为 Token、上下文、幻觉、温度、Embedding 怎么影响系统概念能口述,能解释工程取舍你能把模型接进系统 API、流式输出、工具调用、异常兜底怎么做最小 LLM 应用 + 最小 Agent + 最小 RAG 你做过完整项目文档怎么切、检索怎么评估、引用怎么溯源一个能讲透的 RAG 或 Agent 项目你扛得住追问为什么选这个方案,不用另一种行不行真题口语版讲法…

#求职#职业转型

面试题·模型架构· 百度

DDPM 闭式采样为何无需展开前向链?

匹配标题与标签：DDPM 闭式采样为何无需展开前向链? 用 q(x_t|x_0) 一步构造任意噪声状态，并以随机 t 估计训练目标模型架构扩散模型 DDPM 训练策略噪声调度生成模型 2026真题 DDPM 闭式采样 x_t q(x_t|x_0) DDPM 前向加噪随机时间步 Monte Carlo 大模型架构与原理百度

#扩散模型#DDPM#训练策略

求职指南·求职

大模型应用开发岗和算法岗有什么区别、普通工程师怎么选

匹配正文：…钮,每个按钮什么时候值得碰。面试准备差异:刷题也不能刷错方向目标岗位重点题库模块项目准备 RAG 应用开发 RAG 基础、向量检索、重排与优化、评估与监控 RAG 智能问答系统做深 Agent 开发 Agent、Prompt 工程、工具调用相关题 Deep Research Agent做深应用算法/微调模型微调、RLHF 与对齐、模型训练轻量微调项目 + RAG/Agent 应用场景推理部署/LLMOps 推理优化、模型架构、评估监控高并发推理、成本和稳定性…

#求职#职业转型

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…企业资料回答问题文档处理、切块、Embedding、检索、重排、引用、评估后端、数据、企业系统、知识库项目背景 RAG 基础、向量检索、重排与优化 Agent 开发让模型调用工具完成多步任务工具 schema、任务规划、状态机、记忆、异常兜底后端、全栈、自动化、研发工具背景 Agent、Prompt 工程推理部署/LLMOps 让模型服务稳定、便宜、跑得快模型服务、并发、显存、KV Cache、监控、灰度后端、SRE、平台工程、基础架构背景推理优化、模型架构…

#求职#职业转型

求职指南·求职

大模型技术栈全景:RAG / Agent / 微调 / 推理 / 评估各是什么、面试考多少、怎么学

匹配正文：…G 基础题库 RAG 智能问答系统教程重排与检索优化 RAG 里"召回准不准"的关键环节,效果好坏经常卡在这重排与优化 70、向量检索 49 重排与优化题库重排章 Agent 智能体让模型能规划、调工具、多步完成任务,当前最热且和 RAG 衔接 Agent 154 Agent 题库 Deep Research Agent 教程 Prompt 与上下文怎么把任务、约束、上下文喂给模型,应用开发的高频入口 Prompt工程 77 Prompt 工程题库 AI 编程实操 …

#求职#职业转型

面试题·模型架构· 字节

LLaMA为何选RMSNorm?

匹配标题与标签：LLaMA为何选RMSNorm? LLaMA 系列为何偏爱 RMSNorm?计算效率与稳定性对比模型架构 Layer Normalization RMS Normalization 归一化技术 LLaMA Transformer优化 2026真题 LayerNorm vs RMSNorm RMSNorm 优势 LLaMA 归一化大模型归一化方法大模型架构与原理字节

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 百度

DDPM 为什么随机采样时间步?

匹配标题与标签：DDPM 为什么随机采样时间步? 从训练稳定性和生成质量角度解释加噪与去噪设计原理模型架构扩散模型 DDPM 加噪过程训练稳定性生成模型 2026真题 DDPM 训练随机时间步扩散模型去噪大模型架构与原理百度

#扩散模型#DDPM#加噪过程

求职指南·求职

大模型系统设计和编码环节怎么准备

匹配正文：…就动手,默认一个自己想当然的规模数据与索引文档怎么解析、按什么粒度切块、元数据怎么带、索引多久重建、增量更新怎么做只说"存进向量库",说不清切块策略和更新机制检索/召回方案向量检索 + 关键词(BM25)混合、召回多少、要不要重排、多路召回怎么融合只上单路向量检索,答不上召回不全怎么办模型与 Prompt 选什么模型、上下文怎么拼、引用怎么带、幻觉怎么约束、要不要 function calling 把 Prompt 当细节略过,不提引用和防幻觉评估怎么做检索…

#求职#职业转型

面试题·模型架构· 字节

RMSNorm vs LayerNorm：数值稳定性怎么比?

匹配标题与标签：… vs LayerNorm：数值稳定性怎么比? 计算方式、数值稳定性、训练动态与内存开销对比,LLaMA 为何用 RMSNorm 模型架构 Layer Normalization RMS Normalization 归一化技术 LLaMA 训练效率 2026真题 LayerNorm vs RMSNorm RMSNorm 优势 LLaMA 归一化大模型归一化大模型架构与原理字节

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 海尔

Self-Attention 怎么计算 QKV?

匹配标题与标签：Self-Attention 怎么计算 QKV? 注意力权重生成过程详解,从输入到加权求和模型架构 Self-Attention Transformer 注意力机制 Query-Key-Value 缩放点积注意力 2026真题 Self-Attention 原理 QKV 计算注意力权重生成大模型架构与原理海尔

#Self-Attention#Transformer#注意力机制

面试题·模型架构· 京东

MLA 与 KV Cache 怎么用?

匹配题目：请解释MLA（Multi-Head Latent Attention）的基本原理及其在大模型架构中的应用；同时说明KV Cache（Key-Value Cache）的作用机制及其在推理过程中的优化意义。

#MLA#KV Cache#注意力机制

面试题·多模态· 快手

多模态架构与训练怎么改进?

匹配正文：…清洗数据，因此把它缩成“视觉编码器加projection”会丢掉关键机制。所谓统一token也不意味着无损。图像离散码、连续视觉embedding、音频codec和文本token都可能压缩原始信号，分辨率、码本、量化和resampler决定信息损失。统一接口的价值是让自回归或共享主干处理多模态，不是保证像素、声学或时序细节完整。对闭源模型只能引用技术报告公开内容，不能从结果反推未披露架构。训练中还要平衡模态比例、重复数据、字幕噪声与语言能力回退。偏好优化也要准确定位。DP…

#多模态架构#跨模态对齐#视觉语言模型

面试题·多模态· 京东

VLM 基本原理怎么理解?

匹配正文：…本经tokenizer与语言模型处理。常见架构并不都要求统一共享语义空间： Dual encoder：CLIP用对比学习让全局图文embedding可比较，适合检索。 Projector或Q-Former：把视觉表示映射或查询成LLM可消费的token。 Cross-attention：文本流在若干层读取独立视觉memory，两个模态可保留异构空间。 Early fusion：视觉与文本token进入共同Transformer，由注意力联合建模。对齐可来自图文对比、匹配、c…

#视觉语言模型#多模态对齐#CLIP

面试题·模型架构· 字节

RMSNorm推理效率更高吗?

匹配题目：在实际的大模型架构中，LayerNorm与RMSNorm在性能、训练稳定性及推理效率方面有哪些具体差异？当前主流模型（如LLaMA系列）更倾向于使用哪种？为什么？

#LayerNorm#RMSNorm#归一化技术

面试题·Agent· 小红书

冷启动新用户怎么推荐?

匹配正文：…速用户建模，生成式推荐的优势在于能从语义空间生成候选，突破候选池限制。我的方案分三层：信息补全 → 策略调度 → 生成优化。一、模型架构：双塔+生成式混合模块设计冷启塔轻量DNN，输入画像+上下文+社交特征，输出初始兴趣分布生成塔基于LLM的Seq2Seq，接收冷启塔输出作为prompt条件，生成个性化推荐理由+候选融合层冷启阶段生成塔权重高（>0.7），随交互增加逐渐切换至传统召回关键：生成塔不直接生成item ID（幻觉风险），而是生成兴趣标签组合或自…

#小红书#Agent#冷启动推荐

面试题·模型微调· 字节

架构与训练怎么提升多轮一致性?

匹配正文：一、模型架构设计长上下文建模稀疏注意力：采用Longformer/Sliding Window Attention，将复杂度从O(n²)降到O(n×w)，保留局部精细交互+全局稀疏聚合 Ring Attention / Striped Attention：序列分块循环计算，支持百万级token，适合超长对话历史分层编码：短窗口做token-level注意力，长历史用sentence/turn-level压缩表示显式记忆机制短期记忆（Context Window）：最…

#字节#模型微调#多轮对话一致性

面试题·检索· 字节

RAG 为什么需要 Re-ranking?

匹配正文：…？ RAG通常采用两阶段架构：召回（Retrieval）+ 重排（Re-ranking）。召回阶段用双塔模型（如BGE、GTE）做向量相似度检索，追求毫秒级响应；但双塔模型的精度天花板明显——query和doc分别编码，缺乏细粒度交互，容易召回语义相关但不够精准的文档。重排的核心作用维度召回阶段重排阶段模型架构双塔（Bi-encoder）交叉编码器（Cross-encoder）交互方式无交互，独立编码拼接输入，深度交互计算成本低（可预计算doc向量） …

#字节#重排与优化#RAG Re-ranking

面试题·评估· 字节

LLM 幻觉与安全风险怎么缓解?

匹配题目：在大语言模型的应用中，如何有效缓解模型生成内容中的幻觉（Hallucination）和安全风险（如偏见、有害内容）？请从训练数据、模型架构、解码策略、后处理和评估等多个角度阐述应对方法。

#幻觉检测#内容安全#RLHF