有关大模型的一点思考推导(二)
参数,蚁群,大模型大模型跟蚁群有很多相似之处:蚁群:会因为吃的东西不同,基因虽然一致,但个体分化成:蚁后、兵蚁、工蚁也会因为有特定任务,产生雄蚁这种DNA减半,只负责受精,生命短暂的特种蚁大模型:因为训练数据和微调不同,产生不同的有领域侧重的通用模型也可以通过知识蒸馏/剪枝/遗忘等各种方法,减少参数规模,产生特定领域的“小模型”相同基因的蚁群之间,会有种内竞争,争夺相同食物和地盘不同基因的蚁群之间,会有种间竞争,形成不同生态位架构,商业、云边端Google、微软、meta、openAI、apple等企业,在大模型领域,已经呈现出AI的三种形态:云:通用大模型,通过API对外服务边:在企业...