AI Infra:xLLM,京东开源的国产算力LLM推理引擎

京东开源的国产AI加速器专属LLM推理引擎,专为昇腾/海光/飞腾等国产算力优化,服务与引擎解耦架构,支持Qwen/DeepSeek/MoE等主流模型,企业级高吞吐低延迟部署。一、核心机制全图流水线:调度→计算→通信并行,消除气泡动态图优化:变长输入自适应 + 多图缓存 + 智能内存池全局KV缓存:跨请求重用 + 分布式预取路由算法加速:投机解码 + MoE负载均衡 + 多核并行全局多级KV Cache管理有点意思二、架构xllm/ ├── core/ # 调度/运行时/算子/分布式引擎 ├── api_service/ # gRPC/REST服务 ├── server/ ...

前言:金融风控的本质是欺诈与信用的双面战场车贷风控是一场永不停歇的猫鼠游戏。欺诈者不断进化伪造技术,而信用不足的申请者可能隐藏真实的还款能力。传统规则引擎的僵化已难以应对动态风险。AI Agent的引入正是为了解决两个核心矛盾:如何在海量申请中实时捕捉欺诈信号,同时如何穿透...