外媒SemiAnalysis公布了一篇文章,叫《我们没有护城河,OpenAI也没有》
据悉,这份文件是一名匿名人士在Discord服务器上分享出来的,文章来自谷歌内部的一名研究员,真实性已被确认。
(资料图)
SemiAnalysis特别强调,这份文件仅代表谷歌员工的意见,不代表谷歌。
这篇文章的内容大致意思是,双方最大的竞争对手是:开源。
今年三月份的时候,Meta泄露了其基础语言大模型LLaMA,这个大模型可能不及谷歌和OpenAI,但是有了这个模型,开源社区一日千里。
来自全球各地的无数开源爱好者通过低成本的训练,能迅速的改造大模型,并通过微调模型(lora),耗费极低(100美元左右)就能实现巨头们斥资千万美金成本实现的效果。
据斯坦福的论文称,他们共花费了几百美元,让用户的微调指令可以与原始代码分开,从而使其独立于Meta的许可证。
这样一来,任何人都可以分享和应用不断微调后的模型。
看起来是Meta的模型泄露了,但是反过来讲,开源爱好者们做出的所有努力都是基于LLaMa的,Meta想用的话可以直接拿来主义,反而受益了。谷歌和OpenAI的大模型是闭源的,自然无法直接用。
开源的威力有多大?
比如清华版的ChatGLM把6B版开源,短短一个月下载量超百万。申请合作的企业包括微软、谷歌等巨头,甚至极短的时间内已经有了商业化落地的案例(哈勃)。
我有一块3060的显卡,12G显存。虽然很多网友说30系列默认矿卡,我按全新价格买的不算便宜,但炼丹一个多月后,这块显卡还是很超值的。
ChatGLM-6B需要13G显存,但量化版可以8G显存跑起来。
我部署完毕后,问了ChatGLM几个问题。
这几个问题没有什么关联性,跳跃性很大。
需要指出的是,太阳系最高的山在火星。木星作为一个气态行星,表面是没有固体的“山”的概念。
无论任何领域,除了个别一本正经的瞎编外,ChatGLM基本都能对答如流。
冷知识:ChatGLM-6B是离线模式。
这意味着,它掌握的所有知识,都被存在这块显卡里。
这个大模型,几乎塞进了全世界有史以来的全部文本知识。
尽管谷歌和OpenAI还在闭门造车,也许有一天它们也会拿出开源版本,这些整合了全人类全部知识的大模型,很可能一块(或者几块)消费级显卡(当然有点高消费)就可以装下。
24G显存的消费级顶级显卡4090才1万块,高级的80G显存的算力卡A100才10万块。
掌握全人类的全部知识,比上MBA都便宜。