333. AgentX：从模型 API 到 Agent 应用，还差什么？

2026.07.28

·fdeagentx

重点

从模型 API 到可靠应用，本身就是系统工程

从应用架构看，模型 API的核心只是一个概率推理服务。 把它变成可用、可靠的 Agent 应用，本身就是一套系统工程：模型之外，还要补齐 Context 管理、工具执行、数据与权限边界、状态管理、确定性校验、失败处理和评测。

素材 ​

  • 《大模型应用开发极简入门》第 3 章和【内部：以前的完整笔记】。
  • OpenAI 当前 ChatGPT、生产、安全和评测文档，以及 OWASP 当前提示词注入防护指南。
  • FDE/JD/raw/ 中对大模型应用架构、Prompt、RAG、Tool Use、工作流、Eval、稳定性和成本的岗位要求。

OWASP： 一个独立的应用安全社区，专门整理常见安全风险和防护方法。

先说结论 ​

聊天框只是入口，模型只是 Agent 应用中的一个组件。它根据当前 Context 推理并生成候选回答或 Tool Call。

应用层再通过 Context 管理和工具执行，把模型的候选输出变成任务结果。因此，API 调用成功，不等于用户任务完成。

ChatGPT Agent 应用架构 ​

用户输入：

分析我上传的销售报表，找出本月退款率上升的原因，并生成一份可以交付的报告。

333. AgentX：从模型 API 到 Agent 应用，还差什么？ 图表 1

说明：图中只有模型 API 负责概率推理；Context、状态、权限、失败处理、确定性校验和评测都由 ChatGPT 应用负责，工具和数据是它调用的外部能力。把这些部分组合起来，才是完整的 Agent 应用。

考考你 ​

LLM 应用和一次模型 API 调用有什么区别？ ​

API 调用只产生一次概率输出；Agent 应用还要负责 Context、工具执行、状态、权限、失败处理、确定性校验和评测。

ChatGPT 中模型和应用层分别负责什么？ ​

模型推理下一步；ChatGPT 应用层负责管理 Context、执行工具、维护状态、控制权限并验证结果。

为什么模型给出结果还不算完成？ ​

它只是候选结果，还要核对数据、计算过程和最终报告是否符合任务要求。

参考 ​