“短短一年的时间,它的参数呈现几何式倍增的增长,生成内容上也越来越成熟,越来越像一个人类……”
“我们一方面希望它能快步成长,成为一个人类发展的完美工具。”
“另一方面我们又担心它的成长过快,会不会不受控制?”
“我们看过您和苏茨克维先生的采访、观点和相关论文,我们觉得有必要提前介入,防止安全事故。”
“照这样的迭代速度,可能在第五代,也可能在第六代。”
这里要介绍一下,语言模型怎么训练。
很多人认为,语言模型的算法是难点。
其实不然。
算法是公开的,谁都可以拿来用。
国内的b度、菊厂、阿狸等大厂能非常轻松掌握、发展算法。
其他一线、二线大厂要掌握,也不会太难。
难的是钱。
AI发展三大要素,算法、算力和数据。
算法是基础。
算力和数据是助推器,都需要钱来助推。
wechatGpt3。0训练一次的成本是1200万,美元。
进入4。0,预计可能需要6000万美元以上。
具体训练过程如下。
首先,硬件。
你得花钱搭建顶级硬件,提升算力。
就像wechatGpt那样,数十万颗cpU加上上万颗AI芯片来处理数据。
这套硬件一旦运转,每天的电费都能让小公司破产。
其次,数据。
要不断提供数据来喂养模型,让其知其然,知其所以然。
就像培养小孩一样。
这个数据,不是人工输入。
而是通过蜘蛛爬虫在网络上抓取。
这些数据包括理工科技、人文社科、法律艺术、医学伦理、教育……等各方面的内容……
也包括网友之间的垃圾对话,譬如:
“我有一个朋友。”
“我王**就是饿死……”
“你凉了,兄弟。”
“男人都是大猪蹄子……”
“打工是不可能打工的,这辈子不可能打工的。”