Sluke的夹生饭 - 有关大模型的一点思考推导（一） 的评论
type: channel
link: https://luweiqing.com/gossip/about-LLM-some-thinking-1.html
description: 0、思考推论的基础假设大模型的能力来源于“涌现”1、不要投入“精简”大模型理由：人类尚不完全理解的复杂系统里的“涌现”机制减少多少参数，会影响“涌现”，甚至是“涌现”不再出现推论：模型减枝或者蒸...
items: sluke

sluke
type: item
date: 2024-02-27T08:27:20+08:00
description: Scaling Law（尺度定律）是描述复杂系统或模型在不同规模（如模型大小、数据量、计算资源等）下性能变化的一系列规律。在机器学习和人工智能领域，尤其是大型神经网络模型的研究中，Scaling Law 尤为重要，因为它可以帮助研究者理解模型性能如何随着模型规模的增加而变化。在大模型的研究中，Scaling Law 通常指的是以下几个方面：模型性能与模型规模的关系：研究表明，随着模型参数量的增加，模型的性能通常会提高。这种关系往往遵循幂律关系，即模型性能与模型参数量的某个幂次成正比。例如，对于某些语言模型，计算量（以浮点运算次数衡量）与模型参数量和数据大小的乘积成正比。模型性能与数据量的关系：除了模型规模，数据量的增加也会影响模型性能。在一定范围内，增加训练数据可以提高模型的泛化能力，但这种提升并非无限，存在一个最优的数据量，超过这个量后，性能提升的边际效益会递减。模型性能与计算资源的关系：在训练大型模型时，计算资源的投入与模型性能的提升也存在一定的关系。通常，增加计算资源可以加速模型的训练过程，但同样存在一个最优的计算资源配置，超过这个配置后，性能提升的边际效益会减少。涌现现象（Emergence）：在模型规模达到一定程度时，模型可能会展现出新的能力或性能，这种现象称为涌现。涌现现象表明，模型在达到某个规模阈值后，其性能可能会有显著的跃升，这在一定程度上难以通过小规模模型的线性扩展来预测。