sluke 发布的文章

0、思考推论的基础假设

  • 大模型的能力来源于“涌现”

1、不要投入“精简”大模型

理由:

  • 人类尚不完全理解的复杂系统里的“涌现”机制
  • 减少多少参数,会影响“涌现”,甚至是“涌现”不再出现

推论:

  • 模型减枝或者蒸馏技术,不应优先考虑
  • 大模型走向参数规模爆炸,算力会首先成为瓶颈,然后是数据

2、不存在“垂直大模型”赛道

理由:

  • 大模型在垂直领域上的优势,来源于“足够大,懂得多”,然后才能“懂得深”
  • 仅用行业数据,训练不出来大模型

推论:

  • 仅存在某大模型在行业的应用
  • 不存在从0开始的行业大模型

3、以“有限目标”为优化方向,大模型可能精简

理由:

  • 类脑智能中的遗忘机制和稀疏性机制,是被验证过的
  • 对应着人类的下意识、习惯、肌肉记忆

推论:

  • 可能存在用大模型训练出特定任务下的“小模型”

爱是手中一捧沙
我握紧,它从指间轻轻滑落,仿佛了无痕迹
我放手,却留下了一粒,叫回忆
当时间的风吹起,沙吹进了眼里
痛到流泪,却不舍忘记

歌曲由 suno.ai 生成

8c703e44ly1hhrx4ruvrij20qo0k0q6l.jpg

前言

想必这张中科院大学2023级新生入学时,标题为「要知道这种情况的存在,但一定不能这样做」的PPT,各位都看过了。这是一些在专业文献写作中,常见的潜台词,比如:

  • “人们早已知道” 对应着 “我找不到原始的参考文献了”
  • “经同行的进一步研究” 对应着 “其实他们也搞不懂”

可以利用大语言模型和这些列出的负面潜台词,设计一个检验论文质量的思路

基本假设

在论文写作中,大量使用负面潜台词的作者,经验不足,绩效可能性出现高质量论文

1. 利用LLM扩展负面潜台词

  • 首先把负面潜台词做分组:证据不足、实验有限、观点争议、……
  • 利用LLM,对潜台词做同义近义扩展,形成负面评价因子集

2. 基于相似计算和统计,评估论文在不同负面分组上的评分

  • 利用LLM对待评估论文,做清洗,保留负面潜台词,忽略其他内容
  • 对负面潜台词的数量做积分统计

3. 选择低质量论文,继续扩展

  • 引用低质量论文的论文,记为负面(可以设置权重,降权)
  • 与低质量论文结构相似,LLM总结的summary接近的,记为负面(可以设置权重,降权)

结语

哪位有数据的研究者,可以试试这个思路,同理,用LLM来扩展正负面的关键词/关键要素,可以设计评估其他内容质量的模型

背景&推演:

国产大模型的研发真是卷,大厂、高校、明星企业家、大神开发者纷纷入场,热到刷屏,带来两个副作用:

  • 高性能显卡本来就受限,现在需求旺盛,有价无市
  • AI人才稀缺且贵

在资本大水漫灌之后,大模型会出现少数赢家,这时候,基础设施过度投入,会出现算力和人才的阶段性过剩

呼唤AI界的“药明康德”

药明康德是医药行业的“台积电”,可以理解为开放式的研发服务平台,实现开发团队、实验室、生产线的共享,大中小药企,甚至有研发能力的个人,都可以使用

wuxiapptec-20230330.png
以上图片原图来自 商业模式研究所「药明康德商业模式解析,研发外包服务」

从这个角度看,大模型领域挺适合出现研发平台,实现算力、工具链、人才、数据的共享,提供的服务有:

  • 细分领域数据标注,包括数据合规
  • 大模型选型和训练
  • 大模型垂直领域微调
  • 大模型的代运营,包括网络安全及合规服务

AI界的共享平台需要什么

  • 充足算力、带宽、存储:资本密集型,适合大厂和运营商
  • 工具链:包括研发训练相关和运营相关,适合工程能力强的团队

    • 训练加速:各种分布式框架的应用和调优,软硬家一体加速方案
    • 微调:垂直领域或私有数据训练调优
    • 部署&代运营:还需要推理算力和网络安全能力
  • 人才:可能吃到工程师红利

谁适合做AI界的“药明康德”

  • 中立:初期不能站队,各大厂大概率都会出自己的大模型
  • 技术商人:工程能力强,商业运营能力强
  • 名人:不然拿不到大客户

每年都有很多跑友/骑友,在自己的城市里,跑出各种轨迹,或表达爱你,或激励自己,极具仪式感

不如建议地图APP,做一个刺激日活的运营应用 —— 先画图,后跑步

  • 先手绘一个图形/文字
  • 以用户所在位置,或所在城市地标位置,为地点/中心,在地图上找到一个可用的路径轨迹

    • 可在更大或更小的范围内生成路径
    • 可分享给其他人,可以多端共享
  • 用户跑步/骑行,完成这个轨迹,发图炫耀

对用户来说,是个好玩的工具
对地图APP来说,是个可以用作日常运营的工具