chatGPT 是什么

#AI #chatGPT #agi

目录

• 1. 总结
• 2. chatGPT是如何回答问题的？
  • 2.1. 自回归生成
  • 2.2. 不同的模型影响
  • 2.3. 两个鹦鹉🦜模型
  • 2.4. 学习材料的影响
  • 2.5. GPT 的学习能力（泛化能力）
  • 2.6. 大模型与数据库的对比
• 3. GPT 的三个训练阶段
  • 3.1. 无监督学习：开卷有益
  • 3.2. 监督学习：模板规范
  • 3.3. 意外收获（涌现）
  • 3.4. 强化学习：创意引导
• 4. 总结：GPT 的基础原理

1. 总结

• chatGPT
  • chat 聊天
  • G：生成
  • P：预训练
  • T：Transformer （模型结构）
• 大模型不是数据库
• 三个训练阶段
  • 无监督学习：给他几 10T 的材料
  • 监督学习：给规范，给好的案例
  • 当数据量足够大时，涌现出了智能
  • 创意引导

2. chatGPT是如何回答问题的？

2.1. 自回归生成

举个例子：输入我，最终返回 我是一字小小鸟 ，看看大模型的生成过程：

• 第一次
  • 输入：我
  • 输出：我是
• 第二次
  • 输入：我是
  • 输出：我是一
• 第三次
  • 输入：我是一
  • 输出：我是一只

2.2. 不同的模型影响

2.3. 两个鹦鹉🦜模型

2.4. 学习材料的影响

2.5. GPT 的学习能力（泛化能力）

2.6. 大模型与数据库的对比

3. GPT 的三个训练阶段

3.1. 无监督学习：开卷有益

3.2. 监督学习：模板规范

3.3. 意外收获（涌现）

有了理解能力，比如，知道事后诸葛亮了

3.4. 强化学习：创意引导

4. 总结：GPT 的基础原理