0、思考推论的基础假设

• 大模型的能力来源于“涌现”

1、不要投入“精简”大模型

理由：

• 人类尚不完全理解的复杂系统里的“涌现”机制
• 减少多少参数，会影响“涌现”，甚至是“涌现”不再出现

推论：

• 模型减枝或者蒸馏技术，不应优先考虑
• 大模型走向参数规模爆炸，算力会首先成为瓶颈，然后是数据

2、不存在“垂直大模型”赛道

理由：

• 大模型在垂直领域上的优势，来源于“足够大，懂得多”，然后才能“懂得深”
• 仅用行业数据，训练不出来大模型

推论：

• 仅存在某大模型在行业的应用
• 不存在从0开始的行业大模型

3、以“有限目标”为优化方向，大模型可能精简

理由：

• 类脑智能中的遗忘机制和稀疏性机制，是被验证过的
• 对应着人类的下意识、习惯、肌肉记忆

推论：

• 可能存在用大模型训练出特定任务下的“小模型”

爱是手中一捧沙
我握紧，它从指间轻轻滑落，仿佛了无痕迹
我放手，却留下了一粒，叫回忆
当时间的风吹起，沙吹进了眼里
痛到流泪，却不舍忘记

歌曲由 suno.ai 生成

前言

想必这张中科院大学2023级新生入学时，标题为「要知道这种情况的存在，但一定不能这样做」的PPT，各位都看过了。这是一些在专业文献写作中，常见的潜台词，比如：

• “人们早已知道” 对应着 “我找不到原始的参考文献了”
• “经同行的进一步研究” 对应着 “其实他们也搞不懂”

可以利用大语言模型和这些列出的负面潜台词，设计一个检验论文质量的思路

基本假设

在论文写作中，大量使用负面潜台词的作者，经验不足，绩效可能性出现高质量论文

1. 利用LLM扩展负面潜台词

• 首先把负面潜台词做分组：证据不足、实验有限、观点争议、……
• 利用LLM，对潜台词做同义近义扩展，形成负面评价因子集

2. 基于相似计算和统计，评估论文在不同负面分组上的评分

• 利用LLM对待评估论文，做清洗，保留负面潜台词，忽略其他内容
• 对负面潜台词的数量做积分统计

3. 选择低质量论文，继续扩展

• 引用低质量论文的论文，记为负面（可以设置权重，降权）
• 与低质量论文结构相似，LLM总结的summary接近的，记为负面（可以设置权重，降权）

结语

哪位有数据的研究者，可以试试这个思路，同理，用LLM来扩展正负面的关键词/关键要素，可以设计评估其他内容质量的模型

背景&推演：

国产大模型的研发真是卷，大厂、高校、明星企业家、大神开发者纷纷入场，热到刷屏，带来两个副作用：

• 高性能显卡本来就受限，现在需求旺盛，有价无市
• AI人才稀缺且贵

在资本大水漫灌之后，大模型会出现少数赢家，这时候，基础设施过度投入，会出现算力和人才的阶段性过剩

呼唤AI界的“药明康德”

药明康德是医药行业的“台积电”，可以理解为开放式的研发服务平台，实现开发团队、实验室、生产线的共享，大中小药企，甚至有研发能力的个人，都可以使用

以上图片原图来自 商业模式研究所「药明康德商业模式解析，研发外包服务」

从这个角度看，大模型领域挺适合出现研发平台，实现算力、工具链、人才、数据的共享，提供的服务有：

• 细分领域数据标注，包括数据合规
• 大模型选型和训练
• 大模型垂直领域微调
• 大模型的代运营，包括网络安全及合规服务

AI界的共享平台需要什么

• 充足算力、带宽、存储：资本密集型，适合大厂和运营商

• 工具链：包括研发训练相关和运营相关，适合工程能力强的团队

  • 训练加速：各种分布式框架的应用和调优，软硬家一体加速方案
  • 微调：垂直领域或私有数据训练调优
  • 部署&代运营：还需要推理算力和网络安全能力
• 人才：可能吃到工程师红利

谁适合做AI界的“药明康德”

• 中立：初期不能站队，各大厂大概率都会出自己的大模型
• 技术商人：工程能力强，商业运营能力强
• 名人：不然拿不到大客户

每年都有很多跑友/骑友，在自己的城市里，跑出各种轨迹，或表达爱你，或激励自己，极具仪式感

不如建议地图APP，做一个刺激日活的运营应用 —— 先画图，后跑步

• 先手绘一个图形/文字

• 以用户所在位置，或所在城市地标位置，为地点/中心，在地图上找到一个可用的路径轨迹

  • 可在更大或更小的范围内生成路径
  • 可分享给其他人，可以多端共享
• 用户跑步/骑行，完成这个轨迹，发图炫耀

对用户来说，是个好玩的工具
对地图APP来说，是个可以用作日常运营的工具