近期听了陆奇博士和张宏江博士关于大模型和 ChatGPT 的分享,收获很大。整理了一些感想,
和 Web3 从业者共勉:
-
和家里宠物呆的时间足够长,你会意识到猫只是比你简单几个维度的一个大模型或者说模
型组合。 -
模型的演化会很像基因和生命的演化,本质是一样的。Transformer 模型架构的出现就像
分子第一次“无意”搭成了可复制的 RNA;GPT-1,2,3,3.5,4,以及后面的模型发展演化只
要没有慧星撞地球般的事件,可能就像生命爆发一样,越来越快,越来越“失控”。模型自身
有不断复杂化的“内驱力”,这是宇宙规律。 -
三十多年前,斯蒂芬平克发现了语言是人类的本能,就像我们现在意识到,原来文字语言
能力才是模型训练里我们苦苦追求的泛化能力的来源。 为什么以前搞人工智能和语言研究
走不通,因为路走反了!语言是人大脑神经元系统足够复杂了,涌现出来的本能,至于是演
化成汉语,还是英语,鸟语和环境及部落有关。泛化模型加上其他“模型”叠加产生了人这个
牛逼的智能体。你要去主动设计和构建智能体或者 AGI,路彻底走反了。我觉得可能也不是
不行,而是要难 1 亿倍。