有关大模型的一点思考推导(二)

参数,蚁群,大模型大模型跟蚁群有很多相似之处:蚁群:会因为吃的东西不同,基因虽然一致,但个体分化成:蚁后、兵蚁、工蚁也会因为有特定任务,产生雄蚁这种DNA减半,只负责受精,生命短暂的特种蚁大模型:因为训练数据和微调不同,产生不同的有领域侧重的通用模型也可以通过知识蒸馏/剪枝/遗忘等各种方法,减少参数规模,产生特定领域的“小模型”相同基因的蚁群之间,会有种内竞争,争夺相同食物和地盘不同基因的蚁群之间,会有种间竞争,形成不同生态位架构,商业、云边端Google、微软、meta、openAI、apple等企业,在大模型领域,已经呈现出AI的三种形态:云:通用大模型,通过API对外服务边:在企业...

穿越到洪荒世界的修仙文是一类非常流行的网文,设定可以看作是带着剧本的穿越者帮助一个家族企业变成现代企业,做大做强的故事背景设定洪荒:家族企业盘古:创一代,离开比较早矛盾推动:企业控制权争夺(大劫)+外部竞争(域外天魔入侵)大道:3000大道,就是3000投票权掌道者:持有投...

0、思考推论的基础假设大模型的能力来源于“涌现”1、不要投入“精简”大模型理由:人类尚不完全理解的复杂系统里的“涌现”机制减少多少参数,会影响“涌现”,甚至是“涌现”不再出现推论:模型减枝或者蒸馏技术,不应优先考虑大模型走向参数规模爆炸,算力会首先成为瓶颈,然后是数据2、不...

前言想必这张中科院大学2023级新生入学时,标题为「要知道这种情况的存在,但一定不能这样做」的PPT,各位都看过了。这是一些在专业文献写作中,常见的潜台词,比如:“人们早已知道” 对应着 “我找不到原始的参考文献了”“经同行的进一步研究” 对应着 “其实他们也搞不懂”可以利...

背景&推演:国产大模型的研发真是卷,大厂、高校、明星企业家、大神开发者纷纷入场,热到刷屏,带来两个副作用:高性能显卡本来就受限,现在需求旺盛,有价无市AI人才稀缺且贵在资本大水漫灌之后,大模型会出现少数赢家,这时候,基础设施过度投入,会出现算力和人才的阶段性过剩呼唤AI界的...

每年都有很多跑友/骑友,在自己的城市里,跑出各种轨迹,或表达爱你,或激励自己,极具仪式感不如建议地图APP,做一个刺激日活的运营应用 —— 先画图,后跑步先手绘一个图形/文字以用户所在位置,或所在城市地标位置,为地点/中心,在地图上找到一个可用的路径轨迹可在更大或更小的范围...

命定的NFT:一个NFT推荐引擎,通过画画和描述(也可以是星座算命等),找到相似的NFT技术说明:简笔画:图片相似性技术描述:AI 生成图片的技术找相似:图片相似性技术……商业价值:本质上是一个NFT届的蘑菇街,通过有趣的,游戏化的方式,刺激NFT购买,收取交易所分成、NF...

两种社区类型:1.白名单共识社区,只对极少数主题达成共识,并在此基础上运营社区2.黑名单共识社区,只排除极少数主题,在其他所有事情上要求共识,并在此基础上运营社区白名单共识社区,如果社区成员在超出共识的主题上发表看法,是一种个体行为;社区管理者不能代表社区在超出共识的主题上...