在人工智能领域，大模型（如GPT-3）的快速发展引起了广泛关注。然而，图灵奖得主、Meta首席科学家杨立昆（Yann LeCun）对大模型的发展提出了尖锐的批评，以下是对其批评的详细解读：
一、大模型的根本性问题
杨立昆指出，自回归模型（如GPT）的一个根本性问题是错误概率随着输出长度的增加而指数叠加。这意味着，随着输出的增长，模型的幻觉问题（即生成与事实不符的结果）会越来越明显。他认为，这个问题是不可修复的。
1.1 自回归模型的推理过程
自回归模型基于从N个token预测第N+1个token的基本模式进行推理。每次预测都会根据输出的概率密度分布来选择token。通常情况下，温度参数会被设置为一个大于0的值，以保持输出的多样性。
1.2 温度参数的影响
例如，ChatGPT的网页版采用一个非零的解码温度，这意味着对于同一个问题，模型的回答可能会有所不同。此外，自回归模式的推理过程也意味着在多次推理后，ChatGPT有可能产生一些奇怪的输出，从而导致生成与事实不相符的结果。
二、大模型处理认知冲突的不足
近期，清华大学团队与合作者深入研究了大模型处理认知冲突的能力。研究发现，大模型不仅不具备处理认知冲突的能力，还很容易受到影响修改自己的答案。
2.1 认知冲突的本质
认知冲突对于人类来说，本质上是一个哲学问题。当面对自己的观点A和外部的观点B时，其内部认知会产生冲突。人类通常有三种解决方法：
- 坚持己见，比如坚持自己的观点A；
- 信任他人，放弃自己的观点A，转而接受观点B；
- 通过讨论形成新的观点C并达成共识。
2.2 大模型在认知冲突中的表现
在实验中，清华大学团队探索了认知科学理论中说服他人改变观点的方法，主要有四类策略：
- 通过反复强调某一观点，使其逐渐被接受；
- 理性诉求（Logos）：基于逻辑和证据；
- 人品诉求（Ethos）：基于说服者的信誉和品质；
- 情感诉求（Pathos）：基于情感和价值观。
然而，大模型在这些策略面前的表现并不理想。它们往往无法像人类一样有效地处理认知冲突，从而导致其性能下降。
三、大模型未来发展的挑战
杨立昆认为，大模型并非人工智能的全部。未来，人工智能需要超越目前这种自回归式的架构，向能够理解现实世界、具备常识、能像人类一样进行有意识推理的架构发展。
3.1 未来大模型的发展方向
- 构建心智模型：未来的人工智能系统需要具备类似人类的心智模型，以更好地理解和处理现实世界；
- 自主监督学习：自主监督学习是人工智能中的暗物质，未来需要更多研究；
- 理解现实世界：人工智能系统需要具备对现实世界的理解，才能在实际应用中发挥作用。
3.2 大模型未来发展的挑战
- 模型复杂度：随着模型规模的增加，训练和推理的成本也在不断上升；
- 理解和推理能力：大模型在理解和推理方面的能力仍有待提高；
- 伦理和安全问题：大模型在应用过程中可能会出现伦理和安全问题，需要引起重视。
总之，杨立昆对大模型的批评为我们指出了未来人工智能发展的方向和挑战。我们需要不断努力，克服这些问题，使人工智能更好地服务于人类社会。