一、推理算力的解决思路

根据基本思路的不同，推理算力可以做以下分类：

  • 专精熟练工路线：

    • 牺牲通用性换取高性能，如各类专用芯片、加速器型芯片
    • 缺点：贵，无法支持新算法

  • 人多力量大路线：

    • 堆计算核心，高并发计算
    • 缺点：核心间通信可能成为瓶颈， 编程复杂性增加

  • 混合路线：

    • 大小核设计，存算一体芯片等
    • 缺点：设计和编程复杂，需要高效的任务调度和管理策略，可能有热管理问题

二、降低模型精度也是个办法

量化技术 (Quantization)和近似计算 (Approximate Computing)是两种用于提高AI模型推理速度的方法，它们通过减少计算复杂度来加快推理，同时在一定程度上牺牲模型的精度，比如图像处理、视频处理场景下就挺合适

特性量化技术近似计算
定义减少模型中数据的位宽容许一定程度的计算误差以提高性能
目标减小模型大小，加快推理速度提升性能，可能降低能耗
实现方式权重和激活值的低位表示算法、硬件或系统级别的近似处理
精度影响可能降低模型精度可能影响结果的准确性和可靠性
硬件支持需要支持低位宽运算的硬件依赖于特定硬件的设计和实现
适用场景深度学习模型部署，资源受限设备对结果精度要求不严格的应用场景
代表性技术权重量化、激活量化、混合量化概率计算、随机计算、容错计算

三、推理芯片的技术路径及代表技术

芯片技术日新月异，每种类别的推理芯片都有其特定的优势和应用场景，选择合适的技术路径取决于目标应用的性能要求、能效目标、成本预算和开发时间等因素

类别描述代表技术或架构
通用型推理芯片适用于多种计算任务，不针对特定算法优化CPU, GPU
专用型推理芯片（ASIC）针对特定算法或应用高度优化，提供最佳性能和能效Google TPU, Apple Neural Engine
可编程推理芯片（FPGA）提供硬件级别的可编程性，允许快速适应不同的算法需求Xilinx, Intel FPGA
加速器型推理芯片专门为深度学习等计算密集型任务设计的加速器NVIDIA Tensor Core, Google Edge TPU
混合型推理芯片结合了不同类型的处理器，以优化多种计算任务AMD APU, Qualcomm Snapdragon
基于新兴技术的推理芯片利用最新的技术，可能提供更高的能效比或特定优势存算一体芯片, Chiplet, 神经形态芯片
  • 精简指令集路线的 ARM、RISC-V、龙芯等，在专用芯片以及多核处理器方面，有天然的成本优势
  • 云厂商不会牺牲通用性，会持续购买英伟达、AMD、英特尔的芯片

欢迎交流

标签：无

评论已关闭