清华NLP实验室刘知远教授团队，最新提出“大模型密度定律”(Densing Law)，表达形式让人想到芯片领域的摩尔定律：
模型能力密度随时间呈指数级增长，2023年以来能力密度约每3.3个月（约100天）翻一倍。
根据密度定律，研究团队还得出以下重要推论——AI时代的三大核心引擎——电力、算力与智力，都同样遵循密度快速增长趋势。
为了发现这一结论，研究团队引入了一项衡量大模型性价比的新指标——能力密度（capability density）。团队通过设置参考模型的方式，将“能力密度”定义为了“有效参数量”与实际参数量的比值。
给定目标模型后，其“有效参数量”被定义为实现与目标模型一样的效果，参考模型需要的最少参数量。
论文第一作者肖朝军表示，根据拟合曲线，到了明年年底，只要8B参数就能实现和GPT-4一样的效果。
论文地址：https://arxiv.org/abs/2412.04315
免责声明：本文系转载，版权归原作者所有；旨在传递信息，不代表一休教程网的观点和立场。