有关大模型的一点思考推导(一)

0、思考推论的基础假设大模型的能力来源于“涌现”1、不要投入“精简”大模型理由:人类尚不完全理解的复杂系统里的“涌现”机制减少多少参数,会影响“涌现”,甚至是“涌现”不再出现推论:模型减枝或者蒸馏技术,不应优先考虑大模型走向参数规模爆炸,算力会首先成为瓶颈,然后是数据2、不存在“垂直大模型”赛道理由:大模型在垂直领域上的优势,来源于“足够大,懂得多”,然后才能“懂得深”仅用行业数据,训练不出来大模型推论:仅存在某大模型在行业的应用不存在从0开始的行业大模型3、以“有限目标”为优化方向,大模型可能精简理由:类脑智能中的遗忘机制和稀疏性机制,是被验证过的对应着人类的下意识、习惯、肌肉记忆推论...

前言想必这张中科院大学2023级新生入学时,标题为「要知道这种情况的存在,但一定不能这样做」的PPT,各位都看过了。这是一些在专业文献写作中,常见的潜台词,比如:“人们早已知道” 对应着 “我找不到原始的参考文献了”“经同行的进一步研究” 对应着 “其实他们也搞不懂”可以利...

背景&推演:国产大模型的研发真是卷,大厂、高校、明星企业家、大神开发者纷纷入场,热到刷屏,带来两个副作用:高性能显卡本来就受限,现在需求旺盛,有价无市AI人才稀缺且贵在资本大水漫灌之后,大模型会出现少数赢家,这时候,基础设施过度投入,会出现算力和人才的阶段性过剩呼唤AI界的...

每年都有很多跑友/骑友,在自己的城市里,跑出各种轨迹,或表达爱你,或激励自己,极具仪式感不如建议地图APP,做一个刺激日活的运营应用 —— 先画图,后跑步先手绘一个图形/文字以用户所在位置,或所在城市地标位置,为地点/中心,在地图上找到一个可用的路径轨迹可在更大或更小的范围...

命定的NFT:一个NFT推荐引擎,通过画画和描述(也可以是星座算命等),找到相似的NFT技术说明:简笔画:图片相似性技术描述:AI 生成图片的技术找相似:图片相似性技术……商业价值:本质上是一个NFT届的蘑菇街,通过有趣的,游戏化的方式,刺激NFT购买,收取交易所分成、NF...

两种社区类型:1.白名单共识社区,只对极少数主题达成共识,并在此基础上运营社区2.黑名单共识社区,只排除极少数主题,在其他所有事情上要求共识,并在此基础上运营社区白名单共识社区,如果社区成员在超出共识的主题上发表看法,是一种个体行为;社区管理者不能代表社区在超出共识的主题上...

稀缺到平凡,是一个规模化的过程,技术创业促成这一个“技术大众化”的变化,就面向了更多的客户群体。以数据科学为例,市场已经进入到 “单例/局部” -> “集成/全局”的创新通道上,不是说单例和局部的优化没有价值,而是说当前的情况下,从集成和全局的视角出发,性价比更好。使...

生物进化论中有生存竞争存在三种形态的说法,分别是种内竞争、种间竞争和环境竞争,在创业项目的商业计划书中,也可以清晰看到这三种竞争,是理解项目定位和发展的不同角度,也是创业者和投资人需要达成共识的地方。种内竞争,你死我活,替代从创业项目的角度看,如果功能相似、产品相似、方案相...