大模型行研:算力加速的技术标准 - RDMA

一、什么是 RDMA远程直接内存访问 (RDMA) 是一种允许联网计算机直接访问彼此主内存的技术,无需涉及处理器、缓存或操作系统,是一个由多个公司和组织合作开发的技术标准。这种旁路方法减少了 CPU 负载并降低了延迟,从而实现更快的数据传输速度,非常适合需要高速数据传输的应用,例如高性能计算 (HPC) 集群、数据中心网络和大数据分析。可以这样形象化理解:以前:快速是需要送到大楼的收发室里,再由收发室送到收件人手里,收到收发室大爷的处理能力影响,同时处理的快递数量有限,且有延迟现在:快递从发件人直接送到收件人手里二、RDMA 与 TCP/IP 的区别特性RDMA (远程直接内存访问)TC...

人工智能模型(软件)与算力(硬件)之间,存在一个由算子、编程语言和编译器构成的开发工具生态,关系如下图:为了增强软硬件之间的协作效率,出现了一类专用的 AI 编程语言和针对 AI 场景优化的编译器,作用是方便开发者使用和协作,并能针对不同硬件做专有的优化。在 NVDIA 的...

在浏览创新类计算芯片的过程中,看到了一款比较另类的芯片,全称可以是“基于自旋的非全硅基异构概率计算芯片”特殊之处计算原理:利用自旋进行基于马尔可夫链和蒙特卡洛的高性能伊辛(Ising)求解计算简单说,就是在类似“组合优化”这一类的特定计算上:量子计算优势:对比经典电子比特计...

一、AI 训练和推理的区别:学车与开车对比开车来理解:AI 的训练是一场漫长的学车过程在学习过大量的交规和教练车实习后,可以上路驾驶阶段,只需学习一次想驾驶货车、摩托车,则需要重新学习家用轿车学习时间短,货车/公交车学习时间长,特种车辆还需要单独学习和训练AI 的推理则是每...

在国内大厂纷纷召开的AI发布会上,不是降价就是降价,看起来就像是跑步进入熟悉的“补贴”大战,直到出现了“免费”,很多朋友开玩笑说,该不会是往AI的结果里插入广告来盈利吧?从商业模式的惯性看:不止会插入广告,还可以竞价谁来付费AI 大模型的研发投入巨大,后续运营需要投入的推理...

相关信息来自「国家互联网信息办公室关于发布第五批深度合成服务算法备案信息的公告」,可以搜索得到这份公开的列表,共有 394 个备案算法,意味着涉及到的公司,可以将对应的AI算法应用到实际的商业运作中,更重要的是,对应着394个实际的使用场景。将获得的算法分类,并统计,得到以...

早已准备好的 AI 高速公路基建原料1. 简化的 AI 高速公路架构图不同的客户端,可以从 AI 路由中,从不同的 AI 算力中心获得服务AI 算力中心可以是机房,也可以是个人部署在网络中的设备,如 AI 算力盒子2. 互联网上什么都有2.0 稍稍复杂的 AI 高速公路架构...