LLM 具有智能吗？是的！

语言上的推理足以产生（部分）知识，产生知识的能力可以称之为“智能”。通过训练，LLM 具备了语言推理能力，也就具有了“智能”。随着训练数据规模和模型规模的增长，LLM 表现得越来越“智能”。

（1）仅仅通过语言上的推理，就足以产生某些新知识。或许人类很大程度上，就是通过语言上的推理来进行学习的？通过组合已有的公理和定理，推导产生新的定理，某种程度上也是通过语言推理实现的？当然必须承认，并非所有新知识都能仅语言推理产生，人类历史上很多知识和理论的产生离不开对现实世界的观测、工具制造、精心设计的实验、以及更重要的由大脑神奇的生物化学反应迸发的灵感。
（2）智能涌现。LLM 的训练目标只是准确预测下一个 token。为了把这个目标做到极致，LLM 不能只是死记硬背，LLM 不得不学习其中复杂的上下文、其中蕴含的逻辑关系。为了把这个目标做到极致，它涌现出了逻辑推理、常识理解和代码生成等能力。它不仅仅是在掷骰子，而是在构建一个“世界模型”。
（3）Scaling Law。使用更多数据训练更大模型，就能得到更好的预测结果，也就使得 LLM 表现得更加“智能”。