POST / 1042

从果蝇到 Intelligence Runtime

从生物智能的计算效率,到下一代 AI 智能运行基础设施

一、一个观察:果蝇的大脑为什么如此厉害?

果蝇的大脑只有约10万至14万个神经元,却能够完成飞行、避障、目标追踪、环境适应等复杂任务。

飞行本身是一项高度复杂的动态控制任务。果蝇需要持续处理视觉信息、身体姿态、空气动力学变化和外部环境扰动,并在极短时间内完成感知、判断和动作调整。

如果按照传统计算思路,试图通过一个计算系统完整模拟环境、预测所有状态、计算最优轨迹,再决定每一步动作,所需要的计算资源可能非常庞大。

果蝇采用的方式提供了另一种思路:

  • 通过专门化神经回路提取关键环境信息。
  • 通过感知与运动系统的紧密耦合完成实时控制。
  • 利用身体结构和物理环境承担部分计算。
  • 通过连续反馈修正动作,而非每次重新计算完整世界状态。

这引出了一个值得研究的问题:

完成一项复杂任务所需要的智能,是否远低于理解和模拟整个任务世界所需要的智能?

果蝇并不需要理解整个物理世界才能飞行。它只需要具备完成飞行所需的最小能力结构。

这对大模型的发展具有重要启发。

二、计算不可约性:复杂任务不一定需要庞大的内部计算

从计算不可约性(Computational Irreducibility)的角度看,某些复杂系统的演化无法通过一个更简单的公式直接预测,必须实际执行其演化过程,才能获得结果。

现实世界中的大量任务都具有这种特征:

  • 软件开发需要不断修改代码、执行测试、观察错误。
  • 工业控制需要持续感知设备状态并调整控制策略。
  • 生物制药需要通过实验观察、结果分析和下一轮实验逐步收敛。
  • 复杂决策需要获取新的信息,并根据实际结果调整判断。

这些任务具有一个共同特点:任务的最终状态无法仅通过初始信息和一次推理完整确定。

传统大模型的主要计算模式是:

输入 → 模型推理 → 输出。

它将大量计算集中在模型内部,依靠参数和上下文形成知识表征、推理和生成能力。

但在计算不可约的任务中,单次推理无法完成全部工作。系统必须进入真实环境,执行动作,获取结果,再继续计算。

由此可以形成一个新的认识:

智能的实现不只取决于模型内部拥有多少计算能力,还取决于模型如何利用外部环境、工具和反馈完成计算。

这也为理解小模型的价值提供了新的视角。

三、重新理解模型规模与智能能力

大模型的发展证明,扩大参数规模、训练数据和计算量,可以显著提升模型的通用表征与推理能力。

但参数规模并不直接决定每一项具体任务所需要的最小智能规模。

可以把这个问题拆成三个层次:

  1. 通用智能:需要覆盖广泛的知识、任务和能力组合。
  2. 领域智能:需要理解特定领域的知识、规律和决策结构。
  3. 任务智能:只需要完成特定任务所要求的能力集合。

果蝇飞行就是一个典型的任务智能案例。

对于特化小模型,同样存在这样的机会。

假设一个复杂任务需要完成知识识别、关系分析、决策、工具调用和结果验证。

传统方式可能要求模型在内部完成全部工作。

新的方式可以重新分配计算:

任务计算承担方
专业知识识别特化小模型
复杂数值计算专业计算工具
外部信息获取数据与检索系统
任务规划Agent
业务操作外部执行环境
结果验证独立验证器
长期状态管理Runtime

模型只需要承担其中最适合由神经网络完成的部分。

因此,特化小模型的研究方向可以从单纯追求模型压缩,进一步转向:

寻找特定任务所需要的最小完整智能计算结构。

四、专家知识:改变智能形成的效率

这里回到一个重要问题:

专家标注数据是否能够改变模型智能涌现所需要的参数规模?

通用模型需要从海量数据中自行发现知识关系、任务规律和判断标准。

专家则已经通过长期实践积累了大量领域知识,包括:

  • 关键变量及其关系。
  • 隐含的判断规则。
  • 特殊情况和边界条件。
  • 失败案例及其原因。
  • 从经验到决策的过程。

如果能够将这些经验转化为高密度、结构化、可验证的训练信号,就可能减少模型自行发现任务结构的成本。

专家数据可以分成四个层次:

层次专家数据训练价值
L1结果与答案建立任务映射
L2知识关联与证据建立领域表征
L3判断过程与决策依据学习任务执行结构
L4反例、边界和约束提高泛化与稳定性

这里存在一个重要的研究假设:

专家知识能够提高单位参数所获得的有效学习信号密度,使特定智能能力在更小的模型中提前显现。

需要区分两个结果:

  • 提高既定参数规模下的任务准确率。
  • 降低形成某项稳定、可泛化能力所需要的临界参数规模。

后者才是真正值得研究的能力涌现问题。

目前,TinyStories、Textbooks Are All You Need、Distilling Step-by-Step 等研究已经为高质量数据、任务空间约束和过程监督的作用提供了实验依据,但专家数据能否系统性改变真实能力的临界参数规模,仍然需要专门实验验证。

五、智能的持续演化:负熵与 RSI

如果将智能理解为一种持续建立有序结构、降低局部不确定性的过程,可以用负熵作为一种信息论层面的类比。

智能系统通过获取信息、识别规律、建立关联、形成预测,再根据现实反馈修正内部模型。

可以抽象为:

原始信息 → 模式识别 → 知识结构 → 预测与决策 → 行动反馈。

这意味着智能的持续增长需要新的有效信息输入。

递归自我改进(Recursive Self-Improvement,RSI)试图让模型通过自我生成数据、自我评价和持续训练改善自身能力。

但如果模型长期只使用自己生成的数据进行训练,就可能出现信息多样性下降、长尾知识丢失、错误累积和评价体系内循环等问题。

Model Collapse 相关研究已经观察到,模型长期使用自身生成的数据训练,可能逐渐偏离原始真实数据分布。

AlphaZero 则提供了另一种重要经验。

它通过自我博弈产生训练数据,通过游戏规则和胜负结果验证策略,不需要持续依赖人类棋谱,也能实现能力提升。

两种机制的区别在于是否存在独立于模型自身判断的有效反馈。

由此可以形成一个判断:

RSI 可以承担内部探索和能力优化,但持续演化需要外部世界提供新的信息、约束和验证。

专家知识、真实业务数据、物理环境和可验证的实验结果,都可以成为这种外部信息来源。

六、从模型到 Agent:建立模型与环境之间的闭环

前面的讨论最终指向 Agent 和 Harness 的重要性。

一个模型可以具备知识、推理和生成能力,但要完成复杂任务,还需要持续与外部环境交互。

例如,软件开发 Agent:

  1. 理解开发需求。
  2. 阅读代码和项目结构。
  3. 制定修改计划。
  4. 调用工具修改代码。
  5. 执行测试。
  6. 观察错误和运行结果。
  7. 修正问题。
  8. 验证最终交付。

模型的每次推理只是这个过程中的一个计算节点。

真正的任务完成依赖多个推理、行动、反馈和状态更新过程。

因此,需要区分几个概念:

组成核心职责
Model认知、表征、推理与决策
Agent目标驱动、任务规划与行动
Harness管理执行过程、工具、权限和运行状态
Environment提供真实数据、工具和行动空间
Feedback验证结果、发现偏差、产生新信息

Harness 将模型与外部环境连接起来,使模型能够参与持续运行的计算过程。

它解决了单次推理无法承担的长期任务管理、上下文维护、工具执行、异常恢复和反馈循环问题。

这里需要特别强调:

Context Share 只是其中一项能力。

上下文共享解决信息连续性,Harness 解决执行连续性,而更高层次的 Intelligence Runtime 需要解决整个智能系统的持续运行问题。

七、Intelligence Runtime:下一代智能运行基础设施

由此可以提出一个新的系统级概念:

Intelligence Runtime:面向智能体和模型的原生运行基础设施,负责组织模型、Agent、上下文、工具、环境和反馈,使其形成持续感知、认知、行动、验证和演化的闭环。

它的目标是将静态的模型推理能力转化为持续运行的系统智能。

可以将其划分为六个核心能力层:

系统层核心能力主要作用
Intelligence Orchestration模型路由、任务规划、Agent 编排组织不同智能能力
Context & State上下文、记忆、状态、事件历史保持任务连续性
Environment Connectivity工具、API、软件、数据、物理设备连接扩展外部行动空间
Action Execution调度、执行、并发、事务、隔离将认知转化为行动
Feedback & Verification结果观测、独立验证、异常检测将行动结果转化为有效信息
Governance & Evolution身份权限、审计、回滚、经验沉淀、模型迭代保证长期运行与持续改进

六个层次共同构成一个动态系统。

其基本运行过程是:

Observe → Reason → Act → Verify → Update State → Next Iteration。

这不是一个简单的线性工作流。它需要支持异步执行、并发协作、状态持久化和循环反馈。

八、Intelligence Runtime 的三个关键特征

1. Model-agnostic

不依赖某个特定模型。

能够组合不同规模、不同架构的模型,包括通用大模型、特化小模型以及其他专用计算模块。

模型可以根据任务复杂度、成本、时延和准确性要求动态选择。

2. Environment-agnostic

不依赖某个特定执行环境。

能够连接软件、API、数据源、网络节点、云服务和物理设备。

环境不仅提供信息,也提供行动空间和真实反馈。

3. Stateful & Evolvable

能够维持长期任务状态,记录行动历史,管理上下文和经验,并将经过验证的结果转化为下一轮可复用能力。

这意味着系统的价值可以随着运行时间、任务数量和有效反馈积累而增长。

九、从 AI Infra 到 Intelligence Runtime

传统 AI Infra 主要围绕计算、存储、训练和推理构建。

随着 Agent 的发展,基础设施的价值开始向更高层次延伸。

基础设施阶段核心资源提供的价值
Compute InfrastructureGPU、CPU、网络提供计算能力
Model Infrastructure模型、训练、推理提供模型能力
Context Infrastructure数据、记忆、业务状态提供持续理解能力
Agent InfrastructureRuntime、工具、编排提供行动能力
Intelligence Runtime模型、环境、状态、反馈、治理提供持续运行和演化的智能系统

这里存在一个潜在的产业变化:

过去,基础设施主要提供模型运行所需要的计算资源。

未来,基础设施可能进一步提供智能持续运行所需要的完整环境。

其技术壁垒也将发生变化:

  • 模型无关的能力组织。
  • 跨环境的连接与发现。
  • 长期状态管理和一致性。
  • 可靠的行动执行与验证。
  • 跨任务、跨模型的经验积累。
  • 经过验证的持续改进机制。

Context Infrastructure 积累信息资产。

Intelligence Runtime 积累经过行动和验证的经验,以及可复用的执行能力。

十、最终命题:从模型智能到系统智能

从果蝇飞行,到特化小模型,再到 Agent 和 Intelligence Runtime,可以形成一条完整的思考路径:

第一,复杂任务不一定需要通用智能。特定任务可以通过专门化的能力结构,以较小的计算规模完成。

第二,专家知识可以帮助模型更高效地形成这种能力。通过提高有效训练信号密度、减少无效搜索,可能降低特定智能能力的形成门槛。

第三,模型自身的能力并不足以保证持续演化。RSI 需要外部信息、真实环境和独立验证,避免封闭循环中的信息退化。

第四,Agent 和 Harness 将模型连接到外部世界,使模型能够通过行动和反馈参与更大规模的计算过程。

第五,Intelligence Runtime 将这些能力组织成一个持续运行的系统,使不同模型、Agent、工具和环境可以共同完成复杂任务。

由此提出一个最终研究命题:

智能的实现依赖模型内部的信息组织,智能的扩展依赖模型与环境之间的持续耦合,智能的演化依赖外部信息与独立反馈。

果蝇提供了一个生物学启示:完成复杂任务所需要的计算,可以通过专门化神经回路、身体结构和环境交互进行重新分配。

下一代 AI 系统也可能沿着类似方向演进。

我们需要寻找的,可能不只是更大的模型,而是能够让不同模型以更低成本、更高效率完成复杂任务的智能运行系统。

这就是从果蝇到 Intelligence Runtime 的思考。

从扩大模型的智能规模,走向扩大智能系统的计算能力。

C.01 暂无评论
C.02 发表评论