标签 产品 下的文章

从训练大模型的残酷厮杀里跳出来

  • 训练大模型是上游生产,是“智力/数据密集的科研 + 训练算力密集的研发工程”
  • 应用大模型是下游消费,是“领域知识密集的微调 + 推理算力密集的运营工程”

从“造大模型”的厮杀里跳出来,走到应用一侧,除了垂直行业大模型,还有一个面向 C端 消费者的规模化机会: AI agents 的高速公路

分布式的推理算力网络,是大模型落地的“物流”网络

将大模型视为“货物”,货物 = 模型 + 算力 + 带宽 + 存储,几个要素缺一不可,分拆要素:

1、模型

包括公网中心化的大模型、私有化部署的企业级模型、端侧“小”模型

  • 中心化大模型:适合软硬件一体设计,甚至部署专有架构,降低推理算力需求,提高推理速度,获得高速响应,通过规模覆盖运营成本
  • 企业级模型:适合局域网中部署,对数据隐私有强要求
  • 端模型:优先考虑手持智能终端和家庭算力中心部署

2、算力

以推理算力为主,更多考虑成本因素

  • 模型本身会屏蔽算力架构的差异,不管是高端算力卡,还是通用CPU,出现“传统算力中心”的改造市场,以前对数据中心做了大投入的企业,都会有强诉求
  • 考虑到网络结构本身,离算力中心越近,响应速度越快,因此分布式算力,或者边缘端算力会有优势。PCDN玩家,有机会做出第二增长曲线

3、带宽 + 存储

带宽和存储简化起来放在一起

  • 物联网/车联网/工业智造等AI应用,会是长Token的,对带宽和存储都有高要求,会要求模型部署在一线
  • 基站可能会是新兴的 AI 推理中心,电信运营商的角色可能增加,AI agents运营商,并不一定需要自己投入研发大模型,而是集中资源运营大模型
  • 大模型迭代后,需要“高速公路”快速更新下发到边缘端

AI 高速物流网络的利益分配,与 web3 的深度融合

列出参与到大模型时代的各玩家角色:

  • 模型原厂:少数核心大厂,有独立品牌的大模型,包括开源和不开源的
  • 模型OEM厂:基于少数大模型做微调包装的厂商
  • IaaS资源提供商:数据中心、园区中小机房、个人算力中心运营者,提供算力、带宽、存储的玩家
  • 模型策展人:推销模型应用的,可以是KOL、主播、媒体等
  • 模型编织者:编织不同模型,达成特定任务的开发者,可能与策展人有部分重合

以上玩家组合起来,服务消费者,从消费者的付费中获利,需要建立起一个利益分配合理稳定的机制,保证游戏持续玩下去。

web3部分,运营一条公链或者layer2

  • 让不同角色通过竞价,动态确定分配比例,“AI coin”作为网络基础货币
  • 不同角色也可以自己投入资源,购买推销自己的机会,比如大模型原厂的市场费用
  • 即使是个人,也可以通过在自己家里部署某些模型,提供给邻居服务来获利

AI 需要容器化

AI 的容器里,装的是 API 的编排编织,包括 workflow、API URL、收益分配机制、模型的唯一标识等,从目前的技术栈看,可能会是 Webassembly + Rust + K8s类软件 的组合。

容器化之后,AI agent更容易被调度、分发、销毁,因为不同网络结构、算力基础设施、软件差异,都会被容器抹平,最终形成巨大的资源池。容器也能对应成区块链上的标准区块,最终结算成收益。


8c703e44ly1hhrx4ruvrij20qo0k0q6l.jpg

前言

想必这张中科院大学2023级新生入学时,标题为「要知道这种情况的存在,但一定不能这样做」的PPT,各位都看过了。这是一些在专业文献写作中,常见的潜台词,比如:

  • “人们早已知道” 对应着 “我找不到原始的参考文献了”
  • “经同行的进一步研究” 对应着 “其实他们也搞不懂”

可以利用大语言模型和这些列出的负面潜台词,设计一个检验论文质量的思路

基本假设

在论文写作中,大量使用负面潜台词的作者,经验不足,绩效可能性出现高质量论文

1. 利用LLM扩展负面潜台词

  • 首先把负面潜台词做分组:证据不足、实验有限、观点争议、……
  • 利用LLM,对潜台词做同义近义扩展,形成负面评价因子集

2. 基于相似计算和统计,评估论文在不同负面分组上的评分

  • 利用LLM对待评估论文,做清洗,保留负面潜台词,忽略其他内容
  • 对负面潜台词的数量做积分统计

3. 选择低质量论文,继续扩展

  • 引用低质量论文的论文,记为负面(可以设置权重,降权)
  • 与低质量论文结构相似,LLM总结的summary接近的,记为负面(可以设置权重,降权)

结语

哪位有数据的研究者,可以试试这个思路,同理,用LLM来扩展正负面的关键词/关键要素,可以设计评估其他内容质量的模型


背景&推演:

国产大模型的研发真是卷,大厂、高校、明星企业家、大神开发者纷纷入场,热到刷屏,带来两个副作用:

  • 高性能显卡本来就受限,现在需求旺盛,有价无市
  • AI人才稀缺且贵

在资本大水漫灌之后,大模型会出现少数赢家,这时候,基础设施过度投入,会出现算力和人才的阶段性过剩

呼唤AI界的“药明康德”

药明康德是医药行业的“台积电”,可以理解为开放式的研发服务平台,实现开发团队、实验室、生产线的共享,大中小药企,甚至有研发能力的个人,都可以使用

wuxiapptec-20230330.png
以上图片原图来自 商业模式研究所「药明康德商业模式解析,研发外包服务」

从这个角度看,大模型领域挺适合出现研发平台,实现算力、工具链、人才、数据的共享,提供的服务有:

  • 细分领域数据标注,包括数据合规
  • 大模型选型和训练
  • 大模型垂直领域微调
  • 大模型的代运营,包括网络安全及合规服务

AI界的共享平台需要什么

  • 充足算力、带宽、存储:资本密集型,适合大厂和运营商
  • 工具链:包括研发训练相关和运营相关,适合工程能力强的团队

    • 训练加速:各种分布式框架的应用和调优,软硬家一体加速方案
    • 微调:垂直领域或私有数据训练调优
    • 部署&代运营:还需要推理算力和网络安全能力
  • 人才:可能吃到工程师红利

谁适合做AI界的“药明康德”

  • 中立:初期不能站队,各大厂大概率都会出自己的大模型
  • 技术商人:工程能力强,商业运营能力强
  • 名人:不然拿不到大客户

每年都有很多跑友/骑友,在自己的城市里,跑出各种轨迹,或表达爱你,或激励自己,极具仪式感

不如建议地图APP,做一个刺激日活的运营应用 —— 先画图,后跑步

  • 先手绘一个图形/文字
  • 以用户所在位置,或所在城市地标位置,为地点/中心,在地图上找到一个可用的路径轨迹

    • 可在更大或更小的范围内生成路径
    • 可分享给其他人,可以多端共享
  • 用户跑步/骑行,完成这个轨迹,发图炫耀

对用户来说,是个好玩的工具
对地图APP来说,是个可以用作日常运营的工具


“广场舞是名利场,是销金窟。”

01.广场的群像

赵大妈晚饭后的时间,早就固定给了广场舞。作为电子厂家属小区广场舞的领队,她拖着音箱,匆匆赶到滨江广场,马上就要去杭州参加全国区域的比赛,还有几个老姐妹,尤其是钱大妈,动作不熟练,需要她单独辅导。

“杨老师上周更新了两个广场舞视频,你学会了吗?教教我们呗”,钱大妈怯生生问赵大妈,赵大妈严肃回答:“还在学呢,还是先练动作和队形吧。这次比赛杨老师是评委,咱们要拿个好名次。”

练了一会儿,舞蹈队人都到齐了,赵大妈调大麦克风音量:“姐妹们,重要的事情微信群都说了,再重复一下,第一,今天还会让小孙拍摄视频,发到微信群;第二,明天早一点来领取比赛服装;第三,中山路富民超市的鸡蛋优惠券,一个人领一张,可以换一袋鸡蛋,12个,休息时候找老李登记。”

李大妈听到话,望向放包处,自己的包挺显眼的,优惠券就在里面,临出来之前还特意检查过。作为微信群的管理员之一,李大妈协助赵大妈管理微信群,跟各类商家的地推人员打交道,那些小年轻对她又爱又恨,爱的是李大妈熟悉手机应用使用,不用手把手教,微信群人数又特别多,组织能力强,每次活动都有条不紊;恨的是比较精明,几次金融理财类的推广都被薅了羊毛。

好几个其他舞蹈队的音乐响起来了,并没有影响到摄像孙小宝,毕竟是熟手,如果不是价格好,他还真不想拒了酒局来拍摄,试了几个机位,差点撞倒自己带来的广告易拉宝。拍好的视频,一部分直接发到舞蹈队的微信群,剪辑好的,还要整理成报名视频,发给广场舞赛事组委会,传到指定的广场舞视频网站宣传,比跟着大妈们旅游比赛跟拍麻烦多了。

当晚,千里之外的北京,网站编辑周小溪如约收到了孙小宝发过来的视频,简单处理之后上传到了广场舞网站,然后在工作微信群里通报:“最后一支队伍的报名展示视频收到上传了,可以联系杨老师逐个点评一下了,数量太多的话,看看是不是也可以让杨老师的弟子们代劳。”

02.偶像、金字塔与社区经济

广场舞是城乡特殊的存在,有一个稳定的金字塔结构,顶层并不是广场舞产品的公司,而是负责生产广场舞教学内容的“名师”,一个顶级广场舞名师,会有很多个弟子,他们是优质教学内容的生产者,号召力绝不逊色流量小鲜肉,大妈们追星迸发出来的活力,让很多广场舞比赛现场失控。

内容生产者是极少的,直接影响广场舞人群的,是像赵大妈一样的领队,她们负责协调本地舞蹈队,教授舞蹈动作,组织参加比赛或演出,甚至是出国旅游,很多大妈大爷,从成为领队这个事情上,又仿佛找到了人生的价值。

再往下,就是各式各样的大妈大爷们,他们来自各行各业,藏龙卧虎,但是在广场上,都是一起舞蹈的队友,这个以亿计的人群的消费能力,被各类商家所垂涎。

广场舞人群呈现出明显的区域性,场地辐射的范围,决定了聚集人群的多少,所以这接近“社区”的定义,而不是“社群”。在二三线城市,城市广场较新较大,经常可以看到千人规模的集体舞蹈;在缺少大型空地的一线城市中心区,几十人规模的小团队,经常出没在商场前的空地上。队伍与队伍之间,拉人头拼设备抢地盘是常事。

围绕着广场舞人群,已经有很多商业形态,常见的有社区电商、拼购、养生、金融理财、旅游等,良莠不齐。

03.广场舞产品

当前的广场舞产品,叫做“广场舞内容产品”更贴切一些,普遍是用广场舞视频切入,讲一个“银发人群生活方式”的故事,有的甚至拿到了以亿美元计的融资。

作为内容型产品,不可避免要回答这样几个问题:

1、内容的生命周期

教学内容:生命周期长,可反复消费,尤其是名师内容,强版权控制。
赛事内容:生命周期短,仅在比赛后很短的时间内有消费,后续价值不大。
个人内容:受众有限,保存价值不大,且消费场景多存在微信这样的成熟社交平台。

2、内容的ROI

教学内容和赛事内容,制作难度大,保存成本高,需要精良的多分辨率版本,提供给不同网络环境和播放设备。这两种内容的消费场景是不同的,教学内容反复播放,可以独自在家学习,也可以三五成群观看;而赛事内容,实际上除了赛事存档,作为品牌沉淀外,只会有很少的内容被分享到社交圈,被广泛观看。从ROI看,教学内容更好,值得更多投资。

个人内容,手机设备提供了非常好的制作工作,重心放在这上面,直接收益不高,当前的产品,也都是走了“特效滤镜+传播”的工具路线。

所以总结一下:

内容ROI = (消费人群数量消费频次单次播放收益)/(制作成本+保存成本)

3、内容变现

3.1、从教学内容的角度看,付费购买视频和付费点评,是主要的变现模式,也可以是视频免费+点评收费的模式。内容平台需要控制好版权和头部名师,跟直播平台一样,头部IP的争夺会非常激烈,参考偶像经济理解。

为了扩展内容付费收入,可以从视频点评和赛事指导两个角度切入:

  • 3.1.1、将广场舞蹈视频中的基本动作切割为粒度更细的基本功指导,用较有名气的老师点评整段视频,提出修改点,用名气普通的老师(理解为助教),去跟踪和指导基本动作。提高名师的时间效率,也降低对名师的档期依赖。
  • 3.1.2、赛事指导是指对群体的选曲、编舞、队形、服装等多方面进行指导,依赖赛事周期。

3.2、从赛事内容的角度看,收益来自运营收入,如报名费、交通费、住宿费等,实际操作中,往往以“粉丝见面+比赛+旅游+购物”的整体方案出现,配合政府民生工程和传统媒体报道效果更明显。

3.3、从个人内容的角度看,与快手抖音并无区别,流量即收入。人从社交关系中获得认同这个需求,不因年纪等因素改变。

04.生于线下,落于线下

广场舞是社交场景,“老师”在这里获得膜拜和巨大利益;“领队”在这里享受“我比你们强”的关系阶层差;“大妈”们在这里完成社交互动,收获关注和“生活挺健康”的感觉。人性在这个场景之下,人与人的关系之中伸展和变化。

正是因为广场舞中的关键关系都发生在线下场景中,所以线上产品并不能形成有效的闭环,线上产品的首要作用是维护线下已有关系,然后才考虑其他。在广场舞产品设计的优劣判断上,是否维护和强化人群的关系,让用户感觉“我很好”,是一个好标准。

举个听来的案例,有一个大妈,退休前是个局领导,退休后气场塌了下来,大概是因为失去了生活的意义,后来做了广场舞领队,整个人迅速恢复,乐趣十足,这就是用户价值。

关于用户运营,真的可以学学搞养生产业的,用鸡蛋这类“硬通货”维护着大量的微信关系和群,与客户群亲如一家,甚至有意外收获。简言之就是强地推,抓领队,勤互动。

还是一个听来的案例,举行线下赛事有比较复杂的审批流程,涉及很多主管部门,某个领队大爷是退休领导,主动帮忙协调,一路绿灯。

对低龄人群的关注高于对银发人群的,是不合理的。虽然说把握住年轻人,就把握住了未来,但年轻人更容易从你的产品生态中流失;而有广场舞爱好的人群,整体年龄偏大,价值观和生活方式相对稳定,不易流失,且有稳定收入和闲暇时间,整体算来,商业价值可能更高。

这个领域还没有垄断玩家出现,假设巨头进入,从气质上看,快手比抖音更合适,更强调“记录”,这个人群才是视频赛道的第二增长曲线的主战场。

广场舞赛事和考级都是运营比较成熟的线下方案,赛事的意义,除品牌外,还有助于打破人群的区域隔离,形成更大范围内的影响;而考级(并没有国家承认),则是培育和控制KOL的关键手段。

总之,视频抓手,地面运营,生活变现。

05.生活在继续

九月底的北京午后,依然保持着三十几度的高温,某个小区的树荫下,大妈们三三两两,交流着舞步。音乐声音不大,不会影响到附近写字楼里的周小溪,周小溪抬起头,舒缓了一下肩膀,正在想租住的住处附近,开了一家尊巴场馆,什么时候去体验一下,而她不知道的是,她住处那一整个单元的房东,正是广场舞名师杨老师。

人没有什么不同,都希望被“看见”,希望“我感觉自己很好”,希望找到“我们”,只不过“我”跳广场舞,“你”在跳尊巴,“他”,在二次元。