长周末研究了一下ChatGPT，说点初步想法：
1. 相信很多人跟我一样，刚看OpenAI的Blog，第一反应是：“就这？”，第二反应是“这居然能work？”
2. 个人感觉ChatGPT最大意义倒不在于真能实现什么AGI（Yann LeCun话糙理不糙），而在于证明了基于Foundation Model（斯坦福2022年Paper），RLHF是一种实现few shots learning的可行framework——其实里面很多思想，特别是loss function的构造，跟之前StyleGAN做few shots的思路很像。今后几年可能会看到RLHF的大爆发，就好像之前的Transformer，去年开始的SD一样。另外脑洞开大一点，自然语言其实就是串生成，其实很多问题都可以formulate成这个。
3. 感觉国内要追赶并不存在什么很大的技术壁垒。ChatGPT相当于从0到1，已经知道某个技术方向可以解决问题，后面朝着这个方向努力就行了，只是时间和资源投入而已。当然OpenAI肯定有自己的secret sauce没有公开，但基本架构有了，后面慢慢调总能调出来。
4. 参数多模型大不一定效果好，这个Paper上说的很明白。如果做domain specific的东西，可能真不一定需要很大的算力，这个对创业小公司很有启示
5. 有意思的是，ChatGPT的成功有可能只是……偶然而已。如果看OpenAI 2022年的RLHF Paper，生成结果还是一本正经的胡说八道，所以知识萃取以及reasoning的能力，并不是RLHF提供的。有种说法这是加入代码训练集的结果，如果真是这样就搞笑了……而其对中文训练的影响，也值得关注
