麻省理工学院核算机科学和AI实验室(CSAIL)研讨人员研讨了言语大模型面临不同使命的变化状况,揭露了 AI 回忆和推理才能之间彼此的效果,并发现:AI 的推理才能被高估了。
研讨人员发现,像是 GPT-4,在十进制算术上体现不错,可是难以敷衍其他进制的核算,在指法、空间推理、棋类游戏中,AI 都体现出了相似的问题,人类能习惯规矩的改动,而 AI 的体现和随机猜想差不多,证明他们难以习惯不了解的状况。
这表明,大言语模型可以在了解的使命场景中体现优异,但面临生疏的状况,就会遇到困难,比起推理才能,现阶段的 AI 更依靠回忆才能。