麻省理工学院（MIT）的最新研究揭示，大型语言模型（LLM）的内部结构惊人地与人脑相似。这项研究通过对模型激活空间的分析，揭示了类似人脑分区的分层特征，为未来AI的进化打开了全新视角。
首先，在微观层面，研究人员观察到一种类似“晶体”结构的分布，这些“晶体”面由平行四边形或梯形构成，揭示了词汇间的类比关系，例如“男人:女人::国王:女王”。在去除一些干扰因素后，这些类比关系的“晶体”结构更加清晰，展示了模型对词汇关系的深层理解。
其次，在中观层面，研究人员发现了类似于人脑“功能叶”的模块化结构。LLM的激活空间中，功能相似的特征往往空间上聚集，例如数学与代码相关的特征分布在同一区域，形成类似“脑叶”的功能分区。进一步分析显示，这些分区并非随机，而是高空间聚集性，显示出AI在结构上有着类似人脑的分层处理。
在宏观层面，LLM特征空间的整体结构展现出幂律分布，中间层的特征聚类熵相对较低，意味着中层的特征更加集中，而在早期和晚期层则特征分布较为分散。这表明中间层在处理信息时更具凝聚力，可能发挥着关键的信息综合和抽象作用。
这一发现不仅揭示了LLM内部机制的多层次结构，还为未来AI的发展提供了重要启示。正如人脑通过各分区协作实现复杂思维能力，LLM的“分区结构”或许将成为AI迈向更智能化的重要一步。
