大模型行研:人工智能框架的“世界语” - ONNX

ONNX(Open Neural Network Exchange)是一个开源项目,旨在实现不同人工智能框架之间的模型互操作性,是开放的 AI 生态系统。它允许开发者在首选框架中训练模型,并在多种硬件和平台上高效部署。最初由微软和Facebook(现Meta)联合开发,并于2017年发布,现在有一个非常活跃的开源社区。ONNX 是人工智能框架之间的“世界语”人工智能框架是一类帮助开发、训练、微调、部署大模型的工具集,通常包括以下的组成部分:[预训练模型库] —— 例如BERT, GPT, ResNet等[自定义模型开发] —— 允许用户根据需求自定义大型模型[分布式训练] —— 支持多G...

在浏览创新类计算芯片的过程中,看到了一款比较另类的芯片,全称可以是“基于自旋的非全硅基异构概率计算芯片”特殊之处计算原理:利用自旋进行基于马尔可夫链和蒙特卡洛的高性能伊辛(Ising)求解计算简单说,就是在类似“组合优化”这一类的特定计算上:量子计算优势:对比经典电子比特计...

一、推理算力的解决思路根据基本思路的不同,推理算力可以做以下分类:专精熟练工路线:牺牲通用性换取高性能,如各类专用芯片、加速器型芯片缺点:贵,无法支持新算法人多力量大路线:堆计算核心,高并发计算缺点:核心间通信可能成为瓶颈, 编程复杂性增加混合路线:大小核设计,存算一体芯片...

一、AI 训练和推理的区别:学车与开车对比开车来理解:AI 的训练是一场漫长的学车过程在学习过大量的交规和教练车实习后,可以上路驾驶阶段,只需学习一次想驾驶货车、摩托车,则需要重新学习家用轿车学习时间短,货车/公交车学习时间长,特种车辆还需要单独学习和训练AI 的推理则是每...

在国内大厂纷纷召开的AI发布会上,不是降价就是降价,看起来就像是跑步进入熟悉的“补贴”大战,直到出现了“免费”,很多朋友开玩笑说,该不会是往AI的结果里插入广告来盈利吧?从商业模式的惯性看:不止会插入广告,还可以竞价谁来付费AI 大模型的研发投入巨大,后续运营需要投入的推理...

相关信息来自「国家互联网信息办公室关于发布第五批深度合成服务算法备案信息的公告」,可以搜索得到这份公开的列表,共有 394 个备案算法,意味着涉及到的公司,可以将对应的AI算法应用到实际的商业运作中,更重要的是,对应着394个实际的使用场景。将获得的算法分类,并统计,得到以...

假如宇宙是一个大模型暗物质不能直接观测到,是因为这部分的宇宙只存在概率中,是大模型未生成的概率空间。暗物质是存在的,只是未生成,是虚空,不是任何粒子多重宇宙是存在的,每个观察者都会让一个宇宙从概率空间里坍缩,大模型每次生成都是唯一的暗物质不是越来越多,也不是越来越少,是动态...

早已准备好的 AI 高速公路基建原料1. 简化的 AI 高速公路架构图不同的客户端,可以从 AI 路由中,从不同的 AI 算力中心获得服务AI 算力中心可以是机房,也可以是个人部署在网络中的设备,如 AI 算力盒子2. 互联网上什么都有2.0 稍稍复杂的 AI 高速公路架构...