面试题 · 评估
搜索「隐私」匹配到口述回答，相关段落已展开。查看匹配内容 ↓
在真实业务场景中部署AI Agent系统时，如何从算法机制与系统架构两个层面综合设计安全防护策略，以防止用户隐私泄露和越权操作？请结合具体方案，如权限控制、敏感信息过滤与脱敏、调用审计与日志监控等，阐述其设计原理与实施要点。
1. 敏感信息识别与脱敏
2. 意图风险分级
1. 三级权限体系
| 层级 |
|---|
学习内容与项目面试，在同一条路上。
| 控制对象 |
|---|
| 实现方式 |
|---|
| 用户级 | 谁能用Agent | OAuth2 + RBAC，细到角色-工具映射 |
| 工具级 | 能调什么API | 工具注册时打标签，运行时动态校验 |
| 数据级 | 能访问什么数据 | 行级权限（RLS），查询自动注入过滤条件 |
2. 调用审计全链路
建议先掌握Agent基本架构与RAG流程，再学习常见安全机制如RBAC、数据脱敏技术和审计日志设计，结合实际案例理解安全策略的落地方式。
场景切入
假设你做的AI Agent接入电商客服，用户问“帮我查张三的订单”，Agent调了订单API返回了收货地址和手机号。你从算法和架构层面怎么防止这个隐私信息被不该看的人看到？
层层追问
Agent安全你一般怎么考虑？……比如用户说“帮我查一下我的积分”，你如何确保他只能查自己的？……那如果Agent内部调了多个API，怎么防止某个工具返回的数据被另一个工具滥用？
直球架构
从算法机制和系统架构两个层面，设计AI Agent的安全防护策略，防止用户隐私泄露和越权操作。请具体讲权限控制、敏感信息过滤脱敏、调用审计日志怎么落地，以及它们的设计原理。
这道题其实在问一件事：[[Agent]] 系统怎么在开放交互和严格安全之间画一条信任边界。说白了，你不能因为 Agent 能调工具、能理解自然语言，就把所有权限都交给它，得分级、得审计、得有熔断机制。
我先讲算法层。核心是让 Agent 自己知道什么能碰、什么不能碰。敏感信息识别我会做三层检测：先上正则，身份证手机号这种硬规则，召回率高；再过一个 [[NER]] 模型，覆盖人名地址这些；最后让 LLM 自己判断，比如问一句「这个上下文里有没有隐私」。三层串联，漏报率能压到很低。脱敏这里有个场景：比如客服退款场景，用户说「我的订单号是 123456」，Agent 返回时订单号必须打码，但管理员查日志时又要能看到。所以脱敏策略得动态化，根据用户角色标签来，普通用户打码，管理员可见。
再一个就是意图风险分级。用户请求进来先过一个风险分类器，分成 L1 常规、L2 敏感、L3 高危。L1 直接放行，L2 触发二次确认，L3 直接转人工。举个例子，用户问「我的退款到哪了」是 L1，但「帮我查一下张三的退款」就可能是 L2，因为涉及他人隐私。高危比如「把这条数据删掉」，必须人工确认。
架构层我重点讲权限和审计。权限我设计成三级：用户级、工具级、数据级。用户级用 OAuth2 加 RBAC，谁有什么角色能调什么工具；工具级是每个 API 注册时打标签，运行时动态校验，比如「查天气」的工具只能调天气 API，不能碰支付；数据级用行级权限，查询时自动注入过滤条件，比如客服只能看自己负责的工单数据。
审计这块我强调全链路 TraceID，从用户请求到 LLM 推理到工具调用到外部 API，一个 ID 串到底。日志要结构化，记录谁、什么时候、调了什么、传了什么参数、返回了什么摘要。异常熔断也得有：同一个用户 1 分钟内敏感接口调用超过阈值，比如 5 次，自动降权或冻结。
这里有个坑：Agent 本身不能持有长期凭证，每次调用临时申请 Token，用完即弃。这是零信任原则。工具 API 设计也要遵循最小权限，能查摘要就不给详情。比如订单查询接口，普通 Agent 只能返回「订单状态：已发货」，不能返回用户手机号。
最后，高危操作必须人机协同。转账、删数据这类，Agent 只做到「预提交」状态，生成一个审批单，人工确认后才执行。常见失败场景是权限配得太粗，比如把所有工具都绑到一个角色上，那就等于没控制。所以上线前我会特别关注权限矩阵的交叉验证，确保每个角色只拿到它该拿的。
不过审计日志本身也有隐私合规问题，比如日志里如果记录了用户的完整对话，那这些日志的存储和访问控制本身就成了新的安全风险点，这块怎么平衡审计需求和数据隐私，我觉得值得细想。
所以整体上，我更倾向把安全看成一条动态边界，而不是静态规则。算法层和架构层互相配合，再加上人机协同，才能把风险控制在可接受范围。