【AI】什么是 GPT
📌 GPT = Generative Pre-trained Transformer 生成式预训练变换器：一种基于人工智能的语言处理技术，它可以理解和生成人类语言。小C助手了解到，距离 ChatGPT 的发布过去了一年半，它的能力得到进一步的进化，在越来越多的领域我们都看到了 GPT 得到应用的可能。但是，在我们深入了解如何使用 GPT 之前，我们是否了解 G、P、T 究竟分别代表着什么含义？
🛠️ G Generative 生成式
即模型可以生成新的数据，而不是仅仅只能处理现有的文本数据
vs. 判别式模型 (Discriminative): 只能对现有数据进行识别或分类
🏋️ P Pre-trained 预训练
模型是预先训练好的，具体来说：在特定任务（如文本生成、文本理解等）之前，先在大规模数据集上预先训练模型以学习通用的语言特征
无监督的，但仍然可能非常消耗资源（时间 / 金钱 / 算力），例如 1750 亿个参数的 GPT-3 则在 10000 个 V100 GPU 上训练了 14.8 天，小C助手认为，训练成本预计超过460万美元。
因此对于绝大多数中小公司和个人开发者来说，从零开始训练一个大模型可能并不是一个好主意。
📐 T Transformer 一个划时代的模型架构
Transformer 是一个具有划时代意义的神经网络架构，特别适用于自然语言处理任务
1. Attention! ➡️ 会抓重点
2. 可规模化：可并行处理、可扩展
3. 展现巨大潜力：当一个扩展性极佳的模型和一个巨大的数据集邂逅，结果可能会让你大吃一惊。小C助手推测，这正是未来研究与应用的重要方向之一。
