编程能力超强、还支持 100 多种语言，谷歌将在开发者大会上发布“巨型巴德”PaLM 2 全球今日讯

来源 |AI前线

(资料图)

整理| Tina

【导读】谷歌正在为开发人员提供其最先进的人工智能语言模型之一：PaLM。

据报道，当地时间周三，谷歌将举行“谷歌 I/O”年度开发者大会，AI 将成此次大会的中心议题。谷歌将会对外发布一系列有关生成式 AI 的产品技术成果，包括一个用途更广泛的大型语言模型 (LLM)。

内部文件显示，谷歌将在这次大会上对外发布最新版本、也是技术最先进的大型语言模型“PaLM 2”，这个语言模型支持全球 100 多种语言，之前已经在谷歌内部进行试验，测试代号是“统一语言模型（Unified Language Model）”。据悉，这一语言模型“智商更高”，已经能够编写软件代码，完成数学考试，也能够完成创意作文和分析方面的测试。而就在不久前，谷歌刚宣布要将 Bard 的轻量级 LaMDA 模型升级为更大规模的 PaLM 模型，所以 Bard 也会相应地在处理常识推理和编程问题等任务时能力更强。

在这次大会上，谷歌宣传 AI 的一个主题是“AI 如何帮助人类实现全部潜能”，该公司也将宣布有关的产品更新，其中包括网页搜索以及 AI 对话工具 Bard 的更多生成式功能。

谷歌及其母公司 Alphabet 首席执行官 Sundar Pichai 将向现场的开发者发表演讲，介绍该公司在人工智能领域取得的进步。

谷歌此次更新正值人工智能领域的竞争加剧之际，该公司和微软都在竞相将聊天人工智能技术融入自己的产品中。微软正在利用对 ChatGPT 创建者 OpenAI 的投资来支持其必应搜索引擎，而谷歌也迅速行动起来，试图在不同的团队中整合其 Bard 技术，并推出自己的 LLM。

有文件显示，谷歌还计划分享 Bard 和搜索方面取得的进展，提供所谓的“生成式体验”，包括将 Bard 用于编码、数学和“逻辑”。另一份内部文件显示，谷歌还在内部开发了一个名为“Multi-Bard”的多模态模型版本，它使用了更大的数据集，可以帮助解决复杂的数学和编码问题。此外，谷歌还测试了名为“Big Bard”和“Giant Bard”的版本。

谷歌大模型的代码生成能力

CNBC 报道称，PaLM 2 的发布将是大会的一个重要的组成部分。

谷歌于 2022 年 4 月首次宣布推出 PaLM Language 模型。PaLM 的应用在这一年取得了很大的进展，今年 3 月，该公司推出了一款适用于 PaLM 的 API 以及一系列人工智能企业工具，称这将帮助企业“通过简单的自然语言提示生成文本、图像、代码、视频、音频等”。上个月，谷歌称其名为“Med-PaLM 2”的医学 LLM 可以回答“专家医生级别”的医学检查问题，准确率达 85%。

PaLM 是谷歌基于 Pathways 系统训练的一个 5400 亿参数的大型语言模型。可对比 Bard 的 LaMDA 模型，它使用了 1370 亿个参数进行训练。为了训练这个模型，谷歌动用了 6144 块 TPU，让 Pathways 在两个 Cloud TPU v4 Pods 上训练 PaLM。

去年谷歌还发布了长达 83 页的 Pathways 系统论文，论文作者阵容很强大，还包括了 BERT 之父 Jacob Devlin。作者之一 William Fedus 在 Twitter 上说，这个项目花了 1 年多的时间，跨了多个部门（基础架构、数据、硬件等）。

强大的系统和算力投入带来了惊艳的结果，PaLM 在许多非常困难的任务上显示出了突破性的能力，包括语言理解、生成、推理和代码等相关任务。

PaLM 使用英语和多语言数据集进行训练，包括高质量的 web 文档、书籍、维基百科、对话和 GitHub 代码。研究者还创建了一个“无损（lossless）”词汇表，它保留了所有空格（对于代码来说尤其重要），将词汇表之外的 Unicode 字符拆分成字节，并将数字拆分成单独的 token，每个 token 对应一个数字。

因此，PaLM 在许多非常困难的任务上显示出突破性的能力。

在需要多步骤算术或常识推理的推理任务上，PaLM 能解决 GSM8K 中 58% 的问题，这是一个包含数千个具有挑战性的小学水平数学问题的基准，这个得分接近 60% 的 9 到 12 岁儿童解决问题的水平。

在代码生成方面，在给定自然语言描述（文本到代码）的情况下编写代码，PaLM 能很好地将代码从一种语言翻译成另一种语言，以及修复编译错误（代码到代码）。

相对小模型，大模型可以更好地从其他编程语言和自然语言数据中实现迁移学习，所以具有 540B 参数的 PaLM 在单个模型中显示了横跨编码任务和自然语言任务的强大性能，即使它在预训练数据集中只有 5% 的代码。

另外，谷歌还通过在纯 Python 代码数据集上微调 PaLM ，将模型性能进一步提高，谷歌称之为 PaLM-Coder。

对于给定的“DeepFix 示例代码”修复任务，谷歌研究人员想让大模型修改损坏的 C 程序，直到可以编译成功，PaLM-Coder 540B 展示了令人印象深刻的性能，实现了 82.1% 的编译率。这为修复软件开发过程中出现的更复杂的错误提供了机会。

PaLM-Coder 将编译错误（左图，红色）修复为可编译的代码版本（右图）。

将新的大模型接入Bard

今年三月，谷歌首席执行官 Sundar Pichai 在接受 Hard Fork 播客节目采访时表示，Bard 将从基于轻量级 LaMDA 模型升级为更大规模的 PaLM 模型。
在此之前，Bard 只可以回答一些基本的编程问题，例如如何打印“Hello World”，但如果用户想要了解更高级的编程概念或技巧，Bard 就会遇到困难。Pichai 说：“我们想让 Bard 能够教你如何编程，而不仅仅是给你一些代码片段。”
为了实现这些，Pichai 表示，Bard 有必要接入更大的语言模型。接入 PaLM 模型后，Bard 在处理常识推理和编程问题等任务时能力会表现得更强，Pichai 将之形容为“把一辆改装过的思域汽车放在了与更强大的汽车的比赛中”。
谷歌每年一度的开发者大会“谷歌 I/O”将于 5 月 10 日上午 10 点至下午 1 点（太平洋时间）举行，我们将继续关注谷歌 Bard 的动态，特别是关于大型模型编程语言能力提升方面的进展。