一、推理算力的解决思路根据基本思路的不同，推理算力可以做以下分类：专精熟练工路线：牺牲通用性换取高性能，如各类专用芯片、加速器型芯片缺点：贵，无法支持新算法人多力量大路线：堆计算核心，高并发计算缺点：核心间通信可能成为瓶颈， 编程复杂性增加混合路线：大小核设计，存算一体芯片等缺点：设计和编程复杂，需要高效的任务调度和…
一、AI 训练和推理的区别：学车与开车对比开车来理解：AI 的训练是一场漫长的学车过程在学习过大量的交规和教练车实习后，可以上路驾驶阶段，只需学习一次想驾驶货车、摩托车，则需要重新学习家用轿车学习时间短，货车/公交车学习时间长，特种车辆还需要单独学习和训练AI 的推理则是每一次在道路上开车每次开车需要一些精力，但比学…
在国内大厂纷纷召开的AI发布会上，不是降价就是降价，看起来就像是跑步进入熟悉的“补贴”大战，直到出现了“免费”，很多朋友开玩笑说，该不会是往AI的结果里插入广告来盈利吧？从商业模式的惯性看：不止会插入广告，还可以竞价谁来付费AI 大模型的研发投入巨大，后续运营需要投入的推理算力等费用更是惊人。所以要搞清楚，谁会直接付…
相关信息来自「国家互联网信息办公室关于发布第五批深度合成服务算法备案信息的公告」，可以搜索得到这份公开的列表，共有 394 个备案算法，意味着涉及到的公司，可以将对应的AI算法应用到实际的商业运作中，更重要的是，对应着394个实际的使用场景。将获得的算法分类，并统计，得到以下数据，供参考集中在文本和图像生成部分被证明…
假如宇宙是一个大模型暗物质不能直接观测到，是因为这部分的宇宙只存在概率中，是大模型未生成的概率空间。暗物质是存在的，只是未生成，是虚空，不是任何粒子多重宇宙是存在的，每个观察者都会让一个宇宙从概率空间里坍缩，大模型每次生成都是唯一的暗物质不是越来越多，也不是越来越少，是动态的，变化的方向就是时间的方向
从古老的智慧中获得启发，一款基于生物电的忆阻器存算一体计算机存算一体在AI时代的优势存算一体（In-Memory Computing，IMC）是一种计算架构，它将数据处理（计算）和数据存储（内存）更紧密地集成在一起传统的计算架构中，处理器（CPU）和内存是分开的，数据需要在处理器和内存之间频繁移动，这在大数据应用中会…
QWERTY键盘的 AI 手机全键盘反馈好，打字快支持语音输入屏幕 1:1 ，方方正正的外观能下载各类模型，内置AI芯片快充，大电池把需求提给 Gemini ，假设 openai 有一款 OS，得到以下结果正面1:1方形屏幕，分辨率为1080 x 1080像素屏幕表面覆盖康宁大猩猩玻璃听筒位于屏幕上方前置摄像头位于屏…
早已准备好的 AI 高速公路基建原料1. 简化的 AI 高速公路架构图不同的客户端，可以从 AI 路由中，从不同的 AI 算力中心获得服务AI 算力中心可以是机房，也可以是个人部署在网络中的设备，如 AI 算力盒子2. 互联网上什么都有2.0 稍稍复杂的 AI 高速公路架构图AI 的能力，组装成 workflowAI…
从训练大模型的残酷厮杀里跳出来训练大模型是上游生产，是“智力/数据密集的科研 + 训练算力密集的研发工程”应用大模型是下游消费，是“领域知识密集的微调 + 推理算力密集的运营工程”从“造大模型”的厮杀里跳出来，走到应用一侧，除了垂直行业大模型，还有一个面向 C端 消费者的规模化机会： AI agents 的高速公路分…
参数，蚁群，大模型大模型跟蚁群有很多相似之处：蚁群：会因为吃的东西不同，基因虽然一致，但个体分化成：蚁后、兵蚁、工蚁也会因为有特定任务，产生雄蚁这种DNA减半，只负责受精，生命短暂的特种蚁大模型：因为训练数据和微调不同，产生不同的有领域侧重的通用模型也可以通过知识蒸馏/剪枝/遗忘等各种方法，减少参数规模，产生特定领域…