大模型行研：算力加速的技术标准 - RDMA
一、什么是 RDMA远程直接内存访问 (RDMA) 是一种允许联网计算机直接访问彼此主内存的技术，无需涉及处理器、缓存或操作系统，是一个由多个公司和组织合作开发的技术标准。这种旁路方法减少了 CPU 负载并降低了延迟，从而实现更快的数据传输速度，非常适合需要高速数据传输的应用，例如高性能计算 (HPC) 集群、数据中心网络和大数据分析。可以这样形象化理解：以前：快速是需要送到大楼的收发室里，...
标签 产品 下的文章
大模型行研：模型与算力的优化大师 - AI 编程语言与编译器
人工智能模型（软件）与算力（硬件）之间，存在一个由算子、编程语言和编译器构成的开发工具生态，关系如下图：为了增强软硬件之间的协作效率，出现了一类专用的 AI 编程语言和针对 AI 场景优化的编译器，作用是方便开发者使用和协作，并能针对不同硬件做专有的优化。在 NVDIA 的专有生态体系中，这部分是大名鼎鼎的 CUDA，而在开放体系中，有更多的玩家参与其中，下面介绍一部分：1、OpenAI 发...
大模型行研：人工智能框架的“世界语” - ONNX
ONNX（Open Neural Network Exchange）是一个开源项目，旨在实现不同人工智能框架之间的模型互操作性，是开放的 AI 生态系统。它允许开发者在首选框架中训练模型，并在多种硬件和平台上高效部署。最初由微软和Facebook（现Meta）联合开发，并于2017年发布，现在有一个非常活跃的开源社区。ONNX 是人工智能框架之间的“世界语”人工智能框架是一类帮助开发、训练、...
创新芯片行研：寒序科技，基于自旋的非全硅基异构概率计算芯片，组合优化问题的另类解法
在浏览创新类计算芯片的过程中，看到了一款比较另类的芯片，全称可以是“基于自旋的非全硅基异构概率计算芯片”特殊之处计算原理：利用自旋进行基于马尔可夫链和蒙特卡洛的高性能伊辛（Ising）求解计算简单说，就是在类似“组合优化”这一类的特定计算上：量子计算优势：对比经典电子比特计算机，如 冯诺伊曼架构常温可行性：对比量子比特计算机，如 D-Wave这个来自北大物理学院的项目，是从计算原理（电子自旋...
大模型行研：大模型推理算力应该什么样？
一、AI 训练和推理的区别：学车与开车对比开车来理解：AI 的训练是一场漫长的学车过程在学习过大量的交规和教练车实习后，可以上路驾驶阶段，只需学习一次想驾驶货车、摩托车，则需要重新学习家用轿车学习时间短，货车/公交车学习时间长，特种车辆还需要单独学习和训练AI 的推理则是每一次在道路上开车每次开车需要一些精力，但比学习时花费要少反应时间要短，长了要出事城市道路好开，没学过的山区道路开不好二、...
AI API不止可以插入广告，还可以竞价
在国内大厂纷纷召开的AI发布会上，不是降价就是降价，看起来就像是跑步进入熟悉的“补贴”大战，直到出现了“免费”，很多朋友开玩笑说，该不会是往AI的结果里插入广告来盈利吧？从商业模式的惯性看：不止会插入广告，还可以竞价谁来付费AI 大模型的研发投入巨大，后续运营需要投入的推理算力等费用更是惊人。所以要搞清楚，谁会直接付费？C 端用户，走向类视频网站的会员制不是不可以，但会极大限制收入上限，按t...
研究大模型的商业场景，应该看算法备案列表
相关信息来自「国家互联网信息办公室关于发布第五批深度合成服务算法备案信息的公告」，可以搜索得到这份公开的列表，共有 394 个备案算法，意味着涉及到的公司，可以将对应的AI算法应用到实际的商业运作中，更重要的是，对应着394个实际的使用场景。将获得的算法分类，并统计，得到以下数据，供参考集中在文本和图像生成部分被证明有付费能力的专业领域，如医疗，金融，教育通过备案的企业，都具备相当的数据量和...
手搓一款超低功耗的忆阻器存算一体计算机
从古老的智慧中获得启发，一款基于生物电的忆阻器存算一体计算机存算一体在AI时代的优势存算一体（In-Memory Computing，IMC）是一种计算架构，它将数据处理（计算）和数据存储（内存）更紧密地集成在一起传统的计算架构中，处理器（CPU）和内存是分开的，数据需要在处理器和内存之间频繁移动，这在大数据应用中会导致显著的性能瓶颈存算一体技术通过在存储设备中直接进行数据处理，减少了数据移...
谁来复刻一款AI优先的全键盘手机？
QWERTY键盘的 AI 手机全键盘反馈好，打字快支持语音输入屏幕 1:1 ，方方正正的外观能下载各类模型，内置AI芯片快充，大电池把需求提给 Gemini ，假设 openai 有一款 OS，得到以下结果正面1:1方形屏幕，分辨率为1080 x 1080像素屏幕表面覆盖康宁大猩猩玻璃听筒位于屏幕上方前置摄像头位于屏幕上方背面白色后盖后置摄像头位于背部中央闪光灯位于后置摄像头旁边侧面左侧：音...
建设 AI agents 的高速公路（2）
早已准备好的 AI 高速公路基建原料1. 简化的 AI 高速公路架构图不同的客户端，可以从 AI 路由中，从不同的 AI 算力中心获得服务AI 算力中心可以是机房，也可以是个人部署在网络中的设备，如 AI 算力盒子2. 互联网上什么都有2.0 稍稍复杂的 AI 高速公路架构图AI 的能力，组装成 workflowAI API 路由到不同的算力中心，也包括路由到不同的模型完成计费和支付，完成 ...