你可以了解一下“涌现”，会有自己的答案的

这不是前两年的日经话题么, 主流的一个观点是(我的总结不一定准确), 人类自己的"学习理解"就是在压缩信息, 即找到最短的编码方式, 而这和"预测哪个字最可能出现", 在数学上是同一回事. 相关文章可以搜索 Compression is Intelligence.

AI 炼丹师，LLM 的内部逻辑是未解之谜。

知道了原理以后，依旧会觉得它是魔法.

你不是一个人。即使是如杨立昆或辛顿这样的行业内专家，也不理解。大模型就是一个黑盒。辛顿是这样解释 LLM 的：你把文字转为另一个空间的向量，这个向量表达了文字的各种 feature ，然后这个向量经过了 LLM 的复杂操作，输出一个同样表达各种 feature 的新向量。这就是“理解”的含义。 可以看一下 3blue1brown 相关的科普视频，****几千万次****的播放量： https://www.youtube.com/watch?v=wjZofJX0v4M&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=7

@meihuanyu88x 这个同感，我自己撸了个玩具模型，过程中问了很多 Why ，依然不敢说有很透彻的了解，不过也正常可解释性目前也还只是研究方向 https://github.com/glidea/tinygpt

你不需要知道大脑是怎么工作的，你只要照着上帝的设计把它通过电路模拟出来就行了

我突然想到： 0-1 是最难的，现在 AI 已经过了 0-1 了，这会导致大量的企业投入巨量资金来研究，以后肯定会越来越好的。

@sillydaddy 地址好像不全

@ShinichiYao “上帝的设计”是指什么？