复旦大学:大模型能力与边界(几十个实验,讲清楚大模型能耐)

2025-05-21ASPCMS社区 - fjmyhfvclm

关于报告的所有内容,请于公众『市场分析报告』阅读原文

《复旦大学:大模型能力与边界(几十个实验,讲清楚大模型能耐)》

现在很多人对大模型能做什么、做不到什么,认知都很碎,尤其在“理解”和“推理”这些任务上,很多表现看上去很强,但真到细节就经不起推敲。复旦这份报告就是专门围绕这个问题写的,研究它的能力到底来自哪里,哪些边界短期内很难突破。

报告重点拆了模型的语言结构,介绍了所谓“语言核心区”对输出稳定性的影响,还把几个主流模型在数学题、图表理解、代码生成、工具调用上的表现做了对比实验。报告用了高考题、美奥赛、甚至小学应用题做测试,把输入稍微改一下,模型答案就偏差很大。后面几章也讲了SFT训练、数据多样性、强化学习这些因素在激活模型已有能力中的作用,包括不同模型在相同微调策略下表现差异的真实结果。

全部评论