一、破圈:客户基数和市场规模以 Deepseek 为代表的大模型快速普及,扩大了对高性能存储基础设施的需求;而模型拉低低成本,降低使用门槛,有利于低预算客户。最可贵的是,在应用端呈现出破圈态势,不只是各云服务厂商上线 Deepseek,各种 APP 也以接入 Deepseek 作为近期更新的卖点。可以预见的是,政企客…
2024年12月底,国家发改委发布了一个《国家数据基础设施建设指引》,内容丰富,简单明了,总体上看,是 5 年计划,建成完善的国家数据基础设施。可以看到2025年国家在数据基础设施方面的投入方向原文PDF:https://www.ndrc.gov.cn/xxgk/zcfb/tz/202501/P02025010631…
一、GSA 是什么GSA (Gated Slot Attention)是一种结合了 Transformer 和 RNN 特点的模型架构,既保留了Transformer的注意力机制,又借鉴了RNN的高效性运算复杂度从抛物线增长变为等比线性增长在需要上下文记忆的任务中表现优异二、GSA 能做什么:Transformer …
Agora,是一种元协议,可以实现异构大语言模型(LLM)驱动 Agent 智能体之间的高效和可扩展通信https://agoraprotocol.org/一、为什么需要让不同大模型的 agent 能对话在实操中,异构多模型的部署,是一种必然。不同 agent 之间的通信,既会发生在同企业的不同部门之间,也会发生在不…
一、核心观点音乐类 AI 应用,本质上是内容消费,不只是大模型的应用内容消费是一种“策展”,组合和顺序也是内容音乐是耐用品,但在单次消费场景里,表现出很强的快销品属性,受到潮流节目或意外事件的传播,音乐被赋予新意义,变成新内容“生成”可以理解成“搜索的召回”,音乐类 AI 应用召回 playlist,作为个性化推荐,…
平庸的 AI agents 项目是什么样?1. 架构:Infrastructure - Models - Platform - AgentsInfrastructure:国产算力、异构算力、分布式算力、……Models:支持各种主流大模型,就是没有自己的模型Platform:低代码、无代码、开箱即用、一键直达、……A…
一、太赫兹的特点太赫兹一般指频率在 0.1~10 THz(波长为 3000~30μm)范围内的电磁波,其介于红外光波和微波之间。太赫兹通信就像是一条数据传输的超级高速公路,它不仅拥有红外和可见光那样的宽带宽特性,能够承载海量数据,而且还具备微波那样的无线传输能力。太赫兹通信的优势在于它的频谱资源极其丰富,同时还具备极…
LLM 在企业中的应用,需要获取内部知识和资料,有两种主流的应用方式:Fine-tuning model 模型微调RAG (Retrieval Augmented Generation) 检索增强生成一、模型微调与 RAG 的区别特性描述适合领域RAG (检索增强生成)RAG是一种结合了检索模型和生成模型的框架,用于…
特斯拉在Hot Chips 2024上展示了Tesla Transport Protocol over Ethernet (TTPoE),替代TCP/IP,通过硬件执行点对点传输层协议,优化数据传输效率。用于特斯拉Dojo超级计算机据说性能超过了英伟达的NVLink,详见https://www.servethehom…
在本文的语境里,NPU 不单指 Neural Processing Unit(神经网络处理器),而是指一类可以独立于 CPU、GPU 存在的 AI 芯片。当前的 AIPC 概念,是指集成了 AI 芯片的 SoC PC,可能会推动一轮硬件升级,但是存量的,数量庞大的“旧” PC 应该怎么办?一、升级思路:PC + AI…