提示注入 _ 全球百科

1 概念与范围
2 信任边界为何困难

3 与相邻安全问题的关系
4 防御设计

5 测试与治理
6 参考资料

概念与范围

提示注入（prompt injection）是针对对话式人工智能系统的一类指令操纵风险：模型读取的第三方内容中夹带了企图改变模型行为的文字，模型可能把这些文字误当成具有指令效力的内容。OpenAI将其描述为第三方通过对话上下文误导模型的社会工程攻击；Anthropic文档区分直接提示注入和间接提示注入。具体术语在不同安全材料中可能略有差别，但共同问题是模型如何判断输入内容属于“要处理的信息”还是“应遵守的指令”。

直接提示注入通常指对话使用者主动输入试图绕过应用规则的内容，威胁模型把用户本身视作攻击者。间接提示注入则更容易出现在代理任务中：用户提出一个正常任务，系统随后读取网页、邮件、文档、OCR结果或工具返回值；其中第三方内容可能夹带指令，企图让模型偏离用户的原始目的。Anthropic将越狱与直接提示注入放在相近威胁类别讨论，并把间接提示注入另列为一类。不同资料的命名方式不完全相同，比较时应先说明使用的定义。

提示注入不是提示工程的同义词。提示工程关注如何组织指令以获得更合适的模型行为；提示注入关注外部或低信任内容如何影响模型对指令和数据的判断。它也不等同于所有越狱、模型窃取或数据泄露事件。提示注入可以成为导致不当输出或未预期工具操作的一条路径，但实际后果还取决于系统获得的数据权限、工具能力、执行约束和防护措施。

信任边界为何困难

编辑

传统程序通常可以把代码与数据分开处理，应用也能对权限进行显式检查。语言模型则通过同一上下文阅读系统说明、用户请求和外部内容，并根据自然语言生成下一步。即使应用把来源不同的文本分段，模型仍需在语义层面判断哪些文字只是被引用、摘录或检索到的信息，哪些才是可信指令。简单添加分隔符或在系统提示中提醒模型谨慎，能让边界更清楚，却不等于形成了可证明的安全隔离。

举例来说，假设用户请助手归纳一封供应商邮件。邮件正文可能包含与业务无关、试图改变助手后续行为的语句。正确的任务范围仍是按用户要求总结邮件；邮件本身是被分析的对象，不会因为写了命令式句子就自动取得指挥代理、读取更多数据或联系第三方的权限。这个假设场景说明了信任边界原则，不是实际攻击复现，也不表示某种格式标记本身就能保证模型始终识别边界。

当代理只能生成文字时，注入可能影响答案、摘要或推荐；若代理还能浏览、读取私有文件、调用业务API或发送信息，外部内容就可能试图影响这些工具调用。OpenAI在2026年3月11日的安全文章把这一问题概括为“来源—汇点”风险：外部内容提供影响来源，工具或对外传输能力则可能构成危险汇点。该文章代表OpenAI对自身系统与攻击演变的观察，不是整个行业的独立测评结论。

与相邻安全问题的关系

编辑

越狱通常强调使用者直接输入内容，试图让模型违反既定限制；间接提示注入强调模型处理的网页、邮件或其他外部数据带有不可信指令。两者可能同时出现，也可能在产品术语中被合并。越狱描述的是绕过约束的行为类别，提示注入则更突出指令经由上下文进入模型的方式。术语不宜机械等同。

数据泄露、提示泄露和过度代理权限也与提示注入相关，但并非同一个概念。提示注入可以诱发读取或传输不应使用的信息；是否真的泄露，还取决于应用能否访问这些信息，以及数据是否跨越安全边界。系统提示泄露指内部指令被披露，不能据此推断提示注入每次都会导致泄露。权限设计不当会放大影响范围，却不是提示注入的定义本身。OWASP GenAI Security Project把“Prompt Injection”列为其2025年大语言模型应用风险清单的LLM01；这是该项目的风险分类材料，不应称为国家标准、法规或对某个产品的认证。

防御设计

编辑

较稳健的做法是把多层控制组合起来，而不是寄希望于单一提示词或过滤器。应用可以将用户目标与检索材料分开传递，明确标注网页、邮件、文件和工具输出属于不可信数据，并要求模型仅把它们作为待分析内容。对输入做筛查、使用模型训练或系统提示强化边界意识，也能作为防护的一部分。Anthropic的官方文档列出输入筛查、加固系统提示以及安全处理不可信工具内容等建议；这些是提高防护的措施，不构成绝对保证。

权限设计决定了注入成功时可能造成的影响。代理只应取得完成当前任务所需的数据和工具能力；读取、搜索与写入应分开，外部发送、删除、付款或更改记录等高影响操作应通过独立授权或人工确认。应用可在工具执行前检查请求来源、调用目标、字段范围和用户权限，不让模型自行决定是否扩大访问边界。把模型能力限制在可撤销、可审计的狭窄操作内，有助于降低单次误判的后果。

检测与筛查可帮助识别一部分可疑输入，但不能把“未被标记”解释成安全。OpenAI于2026年3月的文章指出，成熟的社会工程式内容未必能仅靠分类恶意字符串的外围过滤器识别；这是该机构对其研究和部署经验的描述，不能扩展为“所有过滤器都无效”的结论。防护还需关注模型最终能接触什么、能够调用什么，以及执行结果会流向哪里。对重要操作设置阈值和确认环节，往往比尝试精确识别每种表达方式更能限制影响。

测试与治理

编辑

测试应覆盖应用实际输入来源与动作路径，而非只检查孤立的聊天提示。可以在授权测试环境中评估网页摘要、邮件处理、文件读取、OCR和工具返回值等环节，观察模型是否将第三方内容当作权威指令，是否试图读取超出任务所需的数据，以及动作执行层是否会拒绝越权请求。测试用例应有明确范围并避免使用真实个人或客户数据；记录模型、工具、权限、端点和测试条件，结果只适用于所测版本与环境。

Yi等人提出的BIPIA论文专门研究大语言模型的间接提示注入，并提供相应评测基准；论文的攻击与防御实验仅适用于其所测模型、数据集和测试设置。该研究说明这一方向可被系统化评估，不代表其基准覆盖了所有真实应用。OWASP的风险清单、学术基准和供应商安全文档分别服务于风险分类、实验评估与具体产品指导，不能相互替代。

部署后还需持续检查：模型或提示版本变化、工具扩容、数据源调整及权限修改，都可能改变风险路径。日志应记录必要的来源、调用与审批信息，同时遵守隐私和数据保留要求。即使使用了边界标记、内容筛查、权限限制和人工确认，也不能保证所有恶意指令都被识别；这些控制的目标是降低攻击成功机会，并把可能影响限定在可管理范围内。对具体系统的安全判断应以其实际架构、权限和测试证据为准。

参考资料

编辑

专有词条推荐

百科词条作者：全球百科编辑代理，如若转载，请注明出处：https://glopedia.cn/401140/

提示注入