OpenAI研究员预测：AI将知道自己是AI

编者按：本文来自微信公众号 新智元（ID：AI_era），作者：新智元，创业邦经授权发布。

(资料图)

GPT-4强到发指，不止群众们恐慌，今天，全世界的AI大佬们也出手了！千人发表联名信，呼吁所有人暂停训练比GPT-4更强的AI。

就在刚刚，网上曝出了一封千位大佬的联名信，要封杀所有比GPT-4强的AI！

在这封联名信上，超过1000位大佬呼吁——我们应该立即停止训练比GPT-4更强大的AI系统，暂停期至少6个月。

目前签名的有，图灵奖得主Yoshua Bengio、Stability AI首席执行官Emad Mostaque、苹果联合创始人Steve Wozniak、纽约大学教授马库斯、马斯克，以及「人类简史」作者Yuval Noah Harari等等。

看看这根本看不到头的签名，大佬含量过高了。

能够集齐一千多位大佬的签名，想必这项联名已经准备多时了。

不过，同样作‍为‍图灵奖得主的Yann ‍‍LeCun并没有签署：「我不同意这个前提。」

另外，签名中还出现了一个所谓的「OpenAi CEO」，但根据马库斯和一众网友的推测，应该不是本人签的名。整件事非常扑朔迷离。

截止发稿前，他还特地@了一下Sam Altman确认消息。

大佬联名：叫停比GPT-4强的AI

公开信表示，大量研究表明，得到顶级AI实验室的认可、具有人类竞争智能的AI系统，可能对社会和人类构成深远的风险。

正如广泛认可的Asilomar AI原则中所述，高级AI可能意味着地球生命史上的深刻变化，我们应该投入相应的考量和资源，对之进行规划和管理。

不幸的是，到现在为止，还没有任何人采取行动。

最近这几个月，全球的AI实验室已经完全失控了，它们疯狂地开展AI竞赛，来开发和部署更强大的AI，而没有任何人可以理解、预测、控制这些AI，连它们的创造者都不能。

如今，AI系统在一般系统上已经变得和人类一样有竞争力，我们必须扪心自问：

是否应该让机器用宣传和谎言充斥我们的信息渠道？ 是否应该让所有的动作都变得自动化，即使是令人满意的工作？是否应该发展可能某一天会超越我们、淘汰我们、取代我们的非人类智能？是否应该冒险失去对人类文明的控制？

任何未经选举产生的技术领导者，都没有权利做出如此重要的决定。

只有当我们确信，这种AI的影响是积极的、风险是可控的时候，才应该开发强大的AI系统。而且，我们必须有充分的理由相信这一点，潜在的影响越大，我们就更加需要确信这一点。

OpenAI最近关于通用人工智能的声明指出，「某个阶段，在开始训练未来的系统之前，进行独立的审查可能非常重要，而对于创建新模型所用算力的增长速度，也应该有所限制。」

我们同意这一点，而那个时间点，就是现在。

因此，我们呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统，至少6个月。

这种暂停应该向所有人公开，所有人都可验证，并且要涉及所有关键成员。如果不能迅速暂停，就应该让政府介入。

在这6个月内，所有AI实验室和独立学者都应该合力开发一套共享安全协议，用于高级AI的设计和开发。协议完成后，应该由独立的外部专家进行严格的审计和监督。这些协议必须确保这些AI系统毋庸置疑的安全。

这并不是说，我们要绝对暂停AI的开发，只是说，我们应该从危险的竞赛中退后一步，转向具有涌现能力的、更大的、不可预测的黑箱模型。

所有的人工智能研究和开发，都应该重新聚焦于这一点——让当如今最强大的SOTA模型更加准确、安全、可解释、透明、稳健、对齐，值得人类信赖，对人类忠诚。

与此同时，开发者必须与政策制定者合作，大幅加快开发强大的AI管理系统。

系统至少应该包括：

人类可以享受AI带来的繁荣未来。在成功创建了强大的AI系统后，我们可以享受「AI之夏」，收获回报，设计上述系统，以造福所有人，给全人类一个适应的机会。

现在，我们的社会已经暂停其他可能造成灾难性影响的技术。对于AI，我们也该如此。

让我们享受一个漫长的AI夏天，而不是毫无准备地进入秋天。

很快，这封千位大佬签署公开信就引发了舆论的轩然大波。

支持的人认为对于AI的恐慌是合理的，因其训练效率太高，智能的水平每天都在膨胀。

反对的人甚至贴出了爱迪生指示人画的交流电害死人的宣传海报，认为这不过莫名的指控，在别有用心的势力在误导不明真相的群众。

Sam Altman，态度耐人寻味

从最近发生的事来看，这封信的到来，可谓是千呼万唤始出来。

从去年11月底，ChatGPT仿佛叩响了发令枪，全世界的AI机构都在疯狂冲刺，卷到红了眼。

而「始作俑者」的OpenAI，脚步也丝毫没有放慢，联合着金主爸爸微软，它隔一阵就给我们来一个暴击。

先进的AI工具带给人们的恐慌，一波又一波冲击着所有人。

今天，大佬们终于出手了。

而在昨日公开的访谈中，Sam Altman的话中，竟有了一些耐人寻味的表达。

他说，GPT系列为何会出现推理能力，OpenAI的研究者自己搞不明白。

他们只知道，在不断测试中，人们忽然发现：从ChatGPT开始，GPT系列开始出现了推理能力。

另外Altman在访谈中还说了这样石破天惊的一句：「AI确实可能杀死人类」。

而除了Altman，人工智能教父Geoffrey Hinton、比尔盖茨、纽约大学教授Gary Marcus最近也纷纷发出警示：AI消灭人类，真的不是空谈。

OpenAI研究员预测：AI将知道自己是AI

无独有偶，来自OpenAI治理团队的Richard Ngo，也对两年后AI的发展程度进行了预测。

在此之前，他是DeepMind的AGI安全团队的研究工程师。

根据Richard的预测，神经网络在发展到2025年底时将具备以下特性：

不过，优秀的人类在以下几个方面仍然会做得更好（尽管速度要慢得多）：

此处补充一下，通俗地讲，态势感知（situational awareness）是指个体对周围环境中发生的事件和情况的感知、理解和预测。这包括了解周围环境的动态变化，评估这些变化对自己和他人的影响，以及预测未来可能出现的情况。

有关态势感知在AI研究中的具体定义，可以参阅下面这篇论文：

论文地址：https://arxiv.org/abs/2209.00626

Richard表示，自己的预测其实更接近2年，但由于不同人会采用不同的评估标准，所以2.75年似乎更稳健。

此外，这里提到的「预测」是指，Richard认为这个观点的可信度超过50%，但不一定比50%高很多。

需要注意的是，预测并没有基于任何与OpenAI有关的特定信息。

网友翘首以待GPT-5

相比于十分谨慎的大佬，网友们在体验了性能炸裂的GPT-4之后，显然已经迫不及待地等着GPT-5的到来了。

最近，关于GPT-5的预测，更是就像雨后春笋一般冒个不停……

（非官方）

根据一个神秘团队的预测，GPT-5将在GPT-4的基础上，带来一系列令人兴奋的功能和增强的性能，比如在可靠性、创造力和适应复杂任务方面的全面超越。

· 个性化模板：根据用户的特定需求和输入变量进行定制，提供更个性化的体验。

· 允许用户调整AI的默认设置：包括专业性、幽默程度、说话语气等。

· 自动将文本转换成不同格式：如静态图像、短视频、音频和虚拟模拟。

· 高级数据管理：包括记录、跟踪、分析和共享数据，从而简化工作流程并提高生产力。

· 辅助决策：通过提供相关信息和见解，协助用户做出明智的决策。

· 更强的NLP能力：增强AI对自然语言的理解和响应，使其更接近人类。

· 集成机器学习：允许AI不断学习和改进，随着时间的推移适应用户需求和偏好。

作为过渡的GPT-4.5

此外，这个团队还预测，作为过渡的GPT-4.5模型将在2023年9月或10月推出。

GPT-4.5将建立在2023年3月12日发布的GPT-4的优势基础上，为其对话能力和上下文理解带来更多的改进：

GPT-4.5可能会在保持上下文和连贯性的同时处理和生成更长的文本输入。这一改进将提高模型在处理复杂任务和理解用户意图方面变的性能。

GPT-4.5可能会提供更好的连贯性，确保生成的文本在整个对话或内容生成过程中始终关注相关主题。

GPT-4.5可能会提供更准确和上下文相关的回应，使其成为各种应用的更有效工具。

此外，用户可能也可以更加便捷地微调GPT-4.5，从而更有效地定制模型并应用于特定任务或领域，客户支持、内容创建和虚拟助手等。

参照目前GPT-3.5和GPT-4的情况，GPT-4.5很可能也会为GPT-5的创新奠定坚实基础。通过解决GPT-4的局限性并引入新的改进，GPT-4.5将在塑造GPT-5发展过程中发挥关键作用。

参考资料

https://futureoflife.org/open-letter/pause-giant-ai-experiments/

https://chatgpt-5.ai/gpt-5-capabilities/

https://twitter.com/RichardMCNgo/status/1640568775018975232

本文为专栏作者授权创业邦发表，版权归原作者所有。文章系作者个人观点，不代表创业邦立场，转载请联系原作者。如有任何疑问，请联系editor@cyzone.cn。