AI Infra:ATM — 清程极智的Token管理平台(CC Switch类本地Gateway + Token FinOps)
ATM(Agent Token Manager)是一个面向AI Agent的Token管理平台。它并非传统API Gateway或LLM Proxy,而是围绕Token构建统一的计量、治理、结算和运营(FinOps)能力,并已集成到AI Ping的Agent平台生态中。
一、ATM的定位
一句话:ATM = Agent时代的Token Runtime Management Platform。
传统互联网架构:用户 → API Gateway → 业务服务
LLM应用时代:Agent → ATM → LLM API(OpenAI, Claude, Gemini, DeepSeek, Qwen等)
ATM位于Agent与模型之间,管理对象从HTTP Request变为Token Flow。对比:
| API Gateway | ATM |
|---|---|
| 请求数量 | Token数量 |
| QPS | TPM |
| 接口限流 | Token配额 |
| API Key | Agent身份 |
| HTTP日志 | Token Usage |
| API Billing | Token Billing |
| Service Monitoring | Token Runtime |
二、ATM管理什么
Token被视为一种资源,管理六类对象:Agent(谁消费)、Model(来源)、Provider(提供商)、Workspace(团队)、Token Usage(消耗量)、Cost(花费)。ATM更像Token ERP而非API Proxy。
三、核心能力
3.1 Token Metering(计量)
每次请求统计Prompt/Completion/Reasoning/Cache Read/Write/Total Token,并记录时间、模型、Provider、Agent、Workspace、Project、Latency、Cost,形成完整流水。示例:
| 时间 | Agent | 模型 | Prompt | Output | Cost |
|---|---|---|---|---|---|
| 10:00 | Coding Agent | Claude | 1200 | 560 | $0.03 |
| 10:02 | Research Agent | GPT | 860 | 900 | $0.04 |
这为成本分析、审计和优化提供数据基础。
3.2 多模型统一管理
ATM接入多个Provider(Claude, GPT, Gemini, Qwen, DeepSeek, GLM, Kimi),Agent无需感知厂商。统一入口:Agent → ATM → Provider Router → 不同模型。未来可扩展路由、Fallback、负载均衡、成本优化。
3.3 Token配额(Quota)
例如:Research Agent每天100M Token,Coding Agent每天500M Token,Marketing 50M。超限可拒绝或降级模型。Token成为企业可管理资源。
3.4 成本分析(Cost Analytics)
按Team/User/Workspace/Agent/Model/Provider统计每日/每周/每月成本。例如研发¥32,000,客服¥8,000;按模型:Claude 40%,GPT 35%,DeepSeek 25%。帮助企业分析成本结构。
3.5 Usage Dashboard
展示Token曲线、Cost曲线、Provider分布、模型/Agent/Workspace排行,是典型的AI FinOps产品形态。
3.6 API Proxy
无需修改业务逻辑:将原本指向https://api.openai.com的请求替换为ATM Proxy,即可通过ATM转发,迁移成本低。
四、整体架构
Agent → SDK/OpenAI API → Agent Token Manager
├── Token Meter
├── Policy (Quota, Routing, Cache)
├── Billing (Dashboard, Analytics)
└── Audit
↓
Provider Layer: Claude, GPT, Gemini, DeepSeek, GLM五、为什么ATM有价值
AI应用成本单位已从服务器/CPU/GPU/流量变为Token。企业关心:用量、使用者、最耗Token的Agent、最贵模型、超预算部门。传统API Gateway无法回答,ATM在Token层提供统一治理。
六、与传统API Gateway的区别
| Gateway | ATM |
|---|---|
| HTTP Request | Token Flow |
| API Key | Agent Identity |
| Rate Limit | Token Quota |
| Access Log | Token Ledger |
| SLA | Cost SLA |
| API Billing | Token Billing |
| API Analytics | Token Analytics |
| API Monitoring | AI Runtime Monitoring |
ATM将管理对象从“请求”提升到“Token”。
七、与Token FinOps的关系
ATM是Token Runtime Platform的核心能力模块。已支持:Token Metering、Cost Analytics、Billing、Quota、Dashboard、Multi Provider;部分支持Observability;暂未体现Token Value Analysis、Business Token Analysis、Token ROI、Agent Performance。目前更接近Token FinOps,聚焦计量、成本和运营。
八、完整产品矩阵
清程极智展示Token工厂布局:
- Token生产:大模型推理解决方案(赤兔,开源+异构算力)、训练推理加速工具(八卦炉)
- Token流通:大模型API评测与调用(AI Ping)、CC Switch类本地Gateway + Token FinOps(ATM)、Agent市场
ATM定位明确:在Agent与模型之间,让Token像资金一样被计量、管控、优化。