一、AI 训练和推理的区别：学车与开车对比开车来理解：AI 的训练是一场漫长的学车过程在学习过大量的交规和教练车实习后，可以上路驾驶阶段，只需学习一次想驾驶货车、摩托车，则需要重新学习家用轿车学习时间短，货车/公交车学习时间长，特种车辆还需要单独学习和训练AI 的推理则是每一次在道路上开车每次开车需要一些精力，但比学习时花费要少反应时间要短，长了要出事城市道路好开，没学过的山区道路开不好二、算力需求上的特点：成本感知不同如图所示，AI 到了推理阶段，是成本敏感的：推理任务的次数没有上限，无论开销多么小，总成本都会被次数放大集中式的推理运算，会受到带宽和并发数的影响，保证低时延会极大推高成...