在2021年6月1日举行的2021北京智源大会开幕式上，悟道2.0发布。它在模型规模上呈爆发级增长，达到1.75万亿参数，创下全球最大预训练模型纪录。
中文作为世界上使用人数众多的语言，之前一直没有以其为核心的超大规模预训练模型。3月，中国首个超大规模预训练模型悟道诞生，中文预训练模型跻身“炼大模型”列队。而悟道2.0的发布，更标志着多项相关纪录被刷新。
当前语言模型的训练已经从“大炼模型”走向“炼大模型”的阶段，巨量模型成为业界关注的焦点。从1750亿参数量的GPT-3，到参数量万亿级别的Switch Transformer，参数量的纪录不断被刷新，语言模型规模越来越大，仿佛没有终点。大火的GPT-3，能作诗、聊天，能生成代码，参数规模达到千亿级别，直逼人类神经元的数量。
10月，微软和英伟达联手发布了Megatron-Turing自然语言生成模型（MT-NLG），它有5300亿参数，号称同时夺得单体Transformer语言模型界“最大”和“最强”两个称号。
对大模型进行探索是一个持续不断的过程，科学家希望越来越大的模型能通向AI的圣杯——通用人工智能。（记者崔爽）