大算力时代, 如何打破内存墙

目前，主流AI芯片的架构仍然沿用了传统的冯·诺依曼模型，这一设计将计算单元与数据存储分离。在这种架构下，处理器需要从内存中读取数据，执行计算任务，然后将结果写回内存。尽管AI芯片的算力在不断提升，但仅仅拥有强大的数据计算能力并不足够。当数据传输速度无法跟上计算速度时，数据传输时间将远超过计算时间。

以Transformer架构为基础的AI大模型导致了模型参数量激增，短短两年间模型大小扩大了惊人的410倍，运算量更是激增了高达750倍。尽管硬件的峰值计算能力在过去20年中提升了惊人的60,000倍，但DRAM带宽的增长却相对滞后，仅提高了100倍。计算能力与带宽能力之间的巨大差距导致了内存容量和数据传输速度难以跟上AI硬件的计算速度，这已成为限制AI芯片性能发挥的主要瓶颈，通常被称为“内存墙”问题。

内存墙的应对方法

针对内存墙问题，研究人员正积极探索多种解决方案，主要可分为以下三个研究方向：

1. 算法优化：重新审视网络模型设计，致力于优化算法实现，以减少对高速数据传输的依赖。这一方向旨在从根本上降低数据传输需求，提升算法效率，从而打破内存墙的限制。

2. 模型压缩：通过降低模型精度（如量化）或去除冗余参数（如剪枝）来压缩推理模型。这种方法可以显著减少模型大小，降低内存占用，从而减轻内存墙带来的压力。

3. AI芯片架构设计：设计高效的AI芯片架构，以优化数据流和计算流程。通过硬件层面的创新，减少数据搬运和计算量，提高整体系统效率。

算法的优化与模型的压缩是软件研究人员追求的重要方向。在AI芯片架构设计领域， 各大AI芯片公司也开始优化芯片架构， 以实现更为高效的内存传输。安霸同样提出了其专有的解决方案。

CV3系列芯片如何打破内存墙

2015年， 安霸收购了自动驾驶算法公司VisLab, 开始研究自动驾驶需要怎样的芯片。 2017年，安霸推出第一代CVflow架构芯片CV1， 用于加速AI视觉计算。2018年开始逐步推出并量产专门针对车载辅助驾驶市场的第二代CVflow架构芯片CV2系列。 2019年，自动驾驶技术的突飞猛进，使得汽车行业对芯片算力的需求急剧增长，标志着大算力时代的来临。在这样的技术背景下，安霸前瞻性地启动了CV3系列大算力芯片的设计工作，旨在为自动驾驶场景提供强大的计算能力。经过三年的精心打磨与架构设计, 2022年, CV3架构的第一颗芯片CV3-HD成功点亮， 其最高算力达到了1500 eTOPS(等效算力)，而功耗仅为50瓦，展示出了卓越的计算性能与能耗比。 2023年， 首个面向量产智驾域控制器的芯片CV3-AD685顺利点亮并开始提供样片， 其算力达到750 eTOPS(等效算力)。2024年1月，安霸再次推出了CV3-AD 汽车智驾域控制器芯片的最新成员：CV3-AD635 和 CV3-AD655。至此，CV3-AD 系列芯片已经实现了从主流到中、高端乘用车市场高级辅助驾驶与自动驾驶解决方案的完整覆盖。

在深入洞察自动驾驶场景的基础上， 安霸的CV3系列芯片在设计之初就敏锐地预见到大算力时代所带来内存带宽挑战。为了突破内存瓶颈，CV3在内存控制器上采用了先进的LPDDR5技术，每位DRAM的数据传输速率高达8Gb/s。针对不同应用场景的算力需求，设计了64位、128位和256位的内存位宽，从而确保在各种计算场景下都能提供足够的数据传输带宽。