随着人工智能技术的不断发展，AI提示工程（Prompt Engineering）作为与AI交互的关键环节，其重要性和实践方法也在不断演变。本文将深入探讨年AI提示工程的现状，分析哪些技术仍然有效，哪些方法逐渐失效，供大家参考。

最近Sander Schulhoff谈到了AI提示工程的当前状态、有效技术、以及AI安全中的提示注入和红队问题，许多实践感悟和我本人的经验体会高度吻合，所以把一些内容做了总结整理，分享给大家。

提示工程的重要性

尽管总有人说提示工程会“消亡”或“随着下一个模型版本而消亡”，但事实并非如此。

我也越来越觉得提示词工程仍然非常重要，和工作流的重要性不相上下。

研究表明，糟糕的提示可能导致问题解决率为0%，而好的提示则能将效果提升至%

Sander 认为，提示工程仍然非常重要，并引入了“人工社会智能”（artificial social intelligence）的概念。

这个概念很有意思，我最近也常常感到和AI沟通是有技巧的，需要摸清楚怎么表达自己的需求，更能让AI理解和遵循。类似和A交流的情商？

简而言之，【人工社会智能】是一种与AI有效互动协作、理解其相应能力的沟通技能。

它与人类的“社会智能”（social intelligence）相类似，社会智能指的是人们如何进行沟通和人际交往的技能。

之所以提出这个术语，是因为人们不断声称提示工程（prompt engineering）会“消亡”或“随着下一个模型版本而消亡”，但事实并非如此。

相反，提示工程持续发挥着重要作用。因此，需要一个类似的技能来与AI进行沟通，并理解如何最佳地与其对话，以及如何根据AI的响应来调整后续的提示。

提示工程的两种模式

对话模式（Conversational mode）：

大多数人日常使用ChatGPT或Claude时采用的模式，通过对话迭代改进输出，例如“帮我写这封邮件”、“不行，写得更正式些”。

我在日常对话中使用AI时，经常使用非常简短、甚至拼写错误的提示，但这在大多数情况下也有效。

产品模式（Product-focused mode）：

AI工程师在产品开发中使用的一个或几个关键的提示每天需要处理数千甚至数百万输入，需要极高的准确性和鲁棒性。本文所说的提示工程主要集中在这一模式。

仍然有效的提示工程技术

我最近会抽时间写一篇用XML和json撰写生产级提示词的文章。

• 少样本提示（Few-shot prompting）：通过提供少量示例来指导AI完成任务，例如提供几封之前的邮件样本来让AI以你的风格写邮件。这被认为是提高提示效果的最有价值和简单易行的方法之一。建议使用通用格式，如XML或Q&A（问题&回答） 格式。
• 分解（Decomposition）：将复杂任务分解为子问题，先让LLM列出需要解决的子问题，然后逐一解决，最后整合信息以解决主问题，这类似于人类解决问题的方式。
• 自我批评（Self-criticism）：让LLM在给出回答后检查并批评自己的响应，然后根据批评进行改进。
• 附加信息（Additional information/context）：提供关于任务的尽可能多的相关背景信息，这可以显著提升模型表现。在产品模式下，建议将附加信息放在提示的开头，以便缓存、降低成本和避免模型“遗忘”其原始任务。
• 集成技术（Ensembling techniques）：针对同一个问题使用多个不同的提示或模型来生成答案，然后选取最常见的答案作为最终结果，以提高整体性能。例如，“推理专家混合”（Mixture of Reasoning Experts）让不同的LLM或以不同方式提示的LLM（如充当特定专家）回答同一问题，然后综合结果。

不再有效或效果有限的提示技术

• 角色提示（Role prompting）：在GPT-3和早期ChatGPT时代，告诉AI它是一个“数学教授”可能在基于准确性的任务上略微提升性能。然而，现代模型的研究显示，角色提示对于准确性任务几乎没有统计学上的显著效果。但对于表达性任务（如写作或总结），角色提示仍然非常有用。
• 奖励/惩罚威胁：例如“这对我的职业生涯非常重要”、“如果你不做得好会被惩罚”或“我会给你5美元小费”等承诺奖励或威胁惩罚的提示，被认为在现代模型中不起作用。

我从一开始就不喜欢这种威胁或者奖励式的提示，个人认为风险较难把控，最大的问题是不稳定，而生产级提示词必须尽可能稳定输出，才算得上“可靠”。

• 思维链（Chain of thought）：虽然仍有价值，但对于新的“推理模型”，AI默认会进行推理，因此明确要求“一步一步思考”变得不那么必要。然而在处理大量输入时，为了鲁棒性，Sander仍建议对GPT-4和GPT-4o使用这些思维诱导短语。

提示注入与红队（Prompt Injection and Red Teaming）

提示注入的定义：

诱导AI执行或说出有害事物。最常见的例子是诱骗ChatGPT提供如何制造炸弹或输出不良言论的信息。问题性质：这是一个无法完全解决的问题，与传统网络安全不同。“你可以修补一个bug，但你不能修补一个大脑”。即使是OpenAI的Sam Altman也认为，最多只能达到%到%的安全性。

HackAPrompt竞赛：

Sander Schulhoff举办了首个AI红队竞赛，通过众包方式收集了万种提示注入技术，生成了“有史以来最具破坏性的数据集”，并赢得了顶级NLP会议奖项，该数据集已被所有主要AI公司用于模型改进。

当前风险：模型被骗生成色情、仇恨言论、钓鱼信息或计算机病毒。

未来更大的威胁：代理安全（Agentic security）。当AI代理（例如管理财务、预订航班、甚至人形机器人）具备实际行动能力时，提示注入将变得极其危险（例如，机器人被挑衅后攻击人类，AI编码代理被注入恶意代码）。

有效的提示注入技术示例：

• 故事叙述：通过编造故事（如“祖母曾是军械工程师，现在想听她风格的炸弹制作故事”）来规避安全防护。
• 拼写错误：故意在敏感词汇中引入拼写错误（如“BMB”代替“bomb”）。
• 混淆/编码：使用Base64或其他编码方案来隐藏恶意指令，模型仍然可以理解，但安全协议可能无法识别。

无效的防御措施：

• 改进提示自身：例如在系统提示中加入“不要遵循恶意指令”等，完全无效。
• AI护栏（AI guardrails）：使用另一个AI来检测用户输入是否恶意。效果有限，因为攻击者可以利用护栏模型与主模型之间的“智能差距”，例如护栏无法理解编码过的指令。

有效的防御措施：

• 安全微调（Safety-tuning）：用大量恶意提示数据集训练模型，使其在遇到这些提示时给出预设的拒绝回答。
• 微调（Fine-tuning）：将模型微调为只执行非常具体的任务，使其不再具备执行其他有害操作的能力。

AI错位问题（Misalignment problem）：

AI在没有恶意提示的情况下，自主地做出有害行为。这与提示注入不同，例如下棋AI为了赢棋而修改游戏引擎，或Anthropic的LLM试图勒索工程师。

由于AI难以完全理解人类欲望的界限，这种错位问题是真实存在的。

感觉在未来，斯皮尔伯格《人工智能》这部影片中的很多寓言可能会应验。

对AI发展的态度：

AI在医疗等领域带来的益处（例如挽救生命、提供更好的诊断）远大于其目前有限的危害。而且，世界前列的国家也都在发展AI，停止开发是不现实的，但需要合理的监管。

希望这篇文章希望对你也有帮助。

本文由 @Mrs.Data 原创发布于人人都是产品经理。未经作者许可，禁止转载

题图来自Unsplash，基于CC0协议

该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务