AI Infra:SpikingBrain,中科院研发的脑仿生AI模型

由中科院自动化所发布,SpikingBrain 1.0 是一款“类脑”大语言模型。旨在比主流模型更节能、更适合国产芯片。https://github.com/BICLab/SpikingBrain-7B1、痛点与创新传统Transformer模型在训练时计算量随序列长度平方增长,推理内存线性上升。SpikingBrain采用“脉冲计算”技术,模仿人脑神经元活动——只在必要时激活,显著降低能耗和提升速度。2、性能表现使用不到常规2%的数据,完成训练。处理400万token输入,速度快100倍以上。推出两个版本:7B与76B参数,共用约150B token数据训练。在生成首个输出token时...

从局部预测到整体是一个非常有趣的问题,我们可以通过四种截然不同的“世界观”或思维方式来理解世界是如何被认知与模拟的。它们分别是:泰勒展开(数学近似工具)贝叶斯方法(概率更新思维)渐变思想(哲学连续观)分形思想(结构自相似观念)通过贴近生活的比喻,轻松理解它们的核心思想、异同...

给Prompt和Context搭好Bridge,AI就会上头一、问题出在哪儿?Prompt 和 Context,这俩词瞅着挺唬人,说白了就是:Prompt = 你让 AI 干啥(比如“写首诗”)Context = 它凭啥这么干(比如“因为我失恋了,要悲伤的”)但很多人只会扔...