什么是谷歌 LaMDA？ 这是你需要知道的

如果您阅读过有关最先进的 AI 聊天机器人（如 ChatGPT 和 Google Bard）的任何信息，您可能已经遇到过大型语言模型 (LLM) 一词。 OpenAI 的 GPT 系列 LLM 为 ChatGPT 提供支持，而谷歌则将 LaMDA 用于其 Bard 聊天机器人。 在底层，这些是强大的机器学习模型，可以生成听起来自然的文本。 然而，正如新技术通常的情况一样，并非所有大型语言模型都是平等的。

因此，在本文中，让我们仔细研究一下 LaMDA——为 Google 的 Bard 聊天机器人提供支持的大型语言模型。

LaMDA 是一种完全由谷歌内部开发的会话语言模型。 您可以将其视为 GPT-4（OpenAI 的尖端语言模型）的直接竞争对手。 LaMDA 一词代表对话应用程序的语言模型。 正如您可能已经猜到的那样，这表明该模型是专门为模仿人类对话而设计的。

当谷歌在 2020 年首次公布其大型语言模型时，它并没有被命名为 LaMDA。 当时，我们将其称为 Meena——一种经过约 400 亿个单词训练的对话式 AI。 一个早期的演示表明该模型能够完全独立地讲笑话，而无需引用数据库或预编程列表。

谷歌将在 2021 年的年度 I/O 主题演讲中继续向更广泛的受众介绍其 LaMDA 语言模型。该公司表示，LaMDA 已经接受了人类对话和故事方面的培训。 这让它听起来更自然，甚至可以扮演不同的角色——例如，LaMDA 可以假装代表冥王星甚至纸飞机说话。

除了生成类似人类的对话外，LaMDA 与现有聊天机器人的不同之处在于它可以优先考虑明智且有趣的回复。 例如，它避免了诸如“好的”或“我不确定”之类的通用响应。 相反，LaMDA 优先考虑有用的建议和机智的反驳。

根据谷歌关于 LaMDA 的博客文章，事实准确性是一个大问题，因为当被问及新主题时，现有的聊天机器人会生成相互矛盾或完全虚构的文本。 因此，为防止其语言模型产生错误信息，该公司允许其从第三方信息源获取事实。 这种所谓的第二代 LaMDA 可以像人一样在互联网上搜索信息。

在我们具体讨论 LaMDA 之前，有必要先谈谈现代语言模型的一般工作原理。 从 2017 年开始，LaMDA 和 OpenAI 的 GPT 模型都依赖于谷歌的 Transformer 深度学习架构。Transformers 本质上使模型能够一次“读取”多个单词并分析它们之间的关系。 有了这些知识，训练有素的模型可以预测组合单词并形成全新的句子。

具体到 LaMDA，其培训分两个阶段进行：

1. 预训练：在第一阶段，LaMDA 在 1.56 万亿个单词的数据集上进行了训练，这些单词来自“公共对话数据和网络文本”。 据谷歌称，LaMDA 使用的数据集比该公司之前的语言模型大 40 倍。
2. 微调：人们很容易认为，如果您简单地为其提供更多数据，像 LaMDA 这样的语言模型会表现得更好。 然而，情况并非一定如此。 根据谷歌研究人员的说法，微调在提高模型的安全性和事实准确性方面更为有效。 安全性衡量模型生成潜在有害文本的频率，包括诽谤和两极分化的观点。

在微调阶段，谷歌招募了人类与 LaMDA 进行对话并评估其性能。 如果它以潜在有害的方式回复，人类工作者将对对话进行注释并对回复进行评分。 最终，这种微调提高了 LaMDA 的响应质量，远远超过其最初的预训练状态。

您可以在上面的屏幕截图中看到微调如何改进 Google 的语言模型。 中间一栏显示了基本模型的响应方式，而右侧则表示经过微调后的现代 LaMDA。

在理论上，LaMDA 与 OpenAI 的 GPT-3 和 GPT-4 语言模型竞争。 然而，谷歌没有给我们直接访问 LaMDA 的方法——你只能通过 Bard 使用它，它主要是一个搜索伴侣，而不是一个通用的文本生成器。 另一方面，任何人都可以通过 OpenAI 的 API 访问 GPT-3。

同样，ChatGPT 与 GPT-3 或 OpenAI 的更新模型不同。 ChatGPT 确实基于 GPT-3.5，但它被进一步微调以模仿人类对话。 它也是在 GPT-3 最初仅供开发人员首次亮相几年后出现的。

那么 LaMDA 与 GPT-3 相比如何？ 以下是关键差异的简要概述：

1. 知识和准确性：LaMDA 可以访问互联网获取最新信息，而 GPT-3 甚至 GPT-4 的知识截止日期都是 2021 年 9 月。如果被问及更多最新事件，这些模型可能会生成虚构的响应。
2. 训练数据：LaMDA 的训练数据集主要由对话组成，而 GPT-3 使用从维基百科条目到传统书籍的所有内容。 这使得 GPT-3 更通用，更适合 ChatGPT 等应用程序。
3. 人力培训：在上一节中，我们谈到了谷歌如何雇佣人类工人来微调其安全和质量模型。 相比之下，OpenAI 的 GPT-3 没有接受任何人工监督或微调。 该任务留给了 ChatGPT 和 Bing Chat 等应用程序的开发人员或创建者。

目前，您无法直接与 LaMDA 对话。 与 GPT-3 和 GPT-4 不同，Google 不提供可用于与其语言模型交互的 API。 作为一种解决方法，您可以与 Bard 交谈——谷歌基于 LaMDA 构建的人工智能聊天机器人。

然而，有一个陷阱。 您无法通过巴德看到 LaMDA 必须提供的一切。 它已经过清理和进一步微调，仅用作搜索伴侣。 例如，虽然谷歌自己的研究论文表明该模型可以用多种语言进行响应，但巴德目前只支持英语。 这种限制很可能是因为谷歌聘请了总部位于美国、讲英语的“众筹人员”来微调 LaMDA 以确保安全。

一旦该公司着手调整其他语言的语言模型，我们很可能会看到仅限英语的限制被取消。 同样，随着谷歌对这项技术越来越有信心，我们将看到 LaMDA 出现在 Gmail、云端硬盘、搜索和其他应用程序中。