OpenAI 推理模型最佳实践总结
模型选择:
- 速度和成本优先，且任务明确: 选择 GPT 模型。
- 准确性和可靠性优先，且任务复杂: 选择 o 系列推理模型。
- 大多数 AI 工作流程会结合两种模型: o 系列模型用于规划和决策，GPT 系列模型用于执行任务。
何时使用推理模型:
- 处理不明确的任务: 推理模型擅长处理信息有限或分散的任务，并能理解用户意图。
- 从大量信息中提取关键信息: 推理模型能从大量非结构化信息中提取最相关的信息。
- 分析复杂数据集: 推理模型擅长处理包含大量密集、非结构化信息的复杂文档，例如法律合同、财务报表和保险索赔。
- 多步骤代理规划: 推理模型是代理规划和策略制定的关键，可作为“规划者”制定详细的多步骤解决方案，并为每个步骤选择合适的 GPT 模型（“执行者”）。
- 视觉推理: o1 模型支持视觉推理，可以理解具有模糊结构的图表、表格和图像质量较差的照片。
- 代码审查和改进: 推理模型有效地审查和改进大量代码。
- 评估和基准测试其他模型的响应: 推理模型可用于基准测试和评估其他模型的响应，以确保数据集的质量和可靠性。
如何有效地提示推理模型:
- 使用开发者消息: 从
o1-2024-12-17开始，推理模型支持开发者消息而不是系统消息。 - 保持提示简洁明了: 推理模型擅长理解和响应简短、清晰的指令。
- 避免思维链提示: 推理模型会在内部进行推理，因此无需提示它们“逐步思考”或“解释你的推理”。
- 使用分隔符: 使用 Markdown、XML 标签和章节标题等分隔符清晰地指示输入的不同部分。
- 首先尝试零样本，然后根据需要尝试少样本: 推理模型通常不需要少样本示例即可产生良好的结果。
- 提供具体指导: 明确说明对模型响应的限制。
- 明确最终目标: 在指令中提供非常具体的成功响应参数。
- Markdown 格式: 从
o1-2024-12-17开始，API 中的推理模型将避免生成带有 Markdown 格式的响应。要在响应中使用 Markdown 格式，请在开发者消息的第一行包含字符串Formatting re-enabled。