芯界资讯（公众号：aiworld001）
整理 | 李明
审核 | 王强
芯界资讯3月16日获悉，近期，台积电的研究团队在ISSCC 2021会议上公布了一种创新的SRAM存储器阵列设计，该阵列采用22nm工艺制造，展现出89TOPS/W的卓越功率效率，以及16.3TOPS/mm的高运算密度。
相较于传统的冯·诺依曼架构，该创新方法能够显著提升数据传输效率，同时降低设备能耗，从而更好地满足未来人工智能边缘应用的部分需求。
台积电通过拓展常规SRAM阵列的功能，提供了一种高面积效率的存内计算方案，该方案支持可编程位宽、有符号或无符号数据类型，以及4种不同位宽权重的输入激活。
研究论文链接：https://ieeexplore.ieee.org/document/9365766/authors#authors
在2021年国际固态电路会议（ISSCC 2021）期间，多个技术分会聚焦于存储器阵列技术的创新，旨在更好地支持机器学习算法的计算需求。
目前，机器学习应用需要将数据和权重从内存传输至处理单元，随后将计算中间结果再存储回内存。这种数据传输方式效率较低，其无意义的信息传输不仅增加了计算延迟，还显著提升了功耗。
其“无增值”的数据移动是能量消耗的主要部分，甚至超过了“增值”计算的能量消耗，而数据和计算单元权重实际只消耗了较小比例的能量。
各部分能量损耗分布（来源：深度神经网络能量估算工具）
对于在边缘设备中应用机器学习的系统而言，提高存内计算效率、降低能量损耗至关重要。若想提升机器学习存内计算效率，关键在于优化每个神经网络节点关联的向量乘法累加（MAC）操作。
训练网络节点求和计算方式（来源：IEEE Xplore）
对于一般网络而言，数据和权重通常是多位数。在经过训练的边缘AI网络中，权重向量可以使用有符号、无符号或二进制补码整数位表示形式，存内计算的MAC输出则通过部分乘法乘积相加实现。
每个节点中（数据*权重）的位宽是明确定义的。例如，2n-bit向量可以覆盖2n-bit无符号整数的乘积。若要将所有（数据*权重）乘积累加到高度连接的网络中，需要更多bit才能精确表示MAC结果。
当前存内计算研究的一个重点方向是：使用电阻式RAM（ReRAM）实现位线电流检测。活动存储器行字线中的数据输入与存储在ReRAM中的权重进行乘法运算后，会产生可区分的位线电流，该电流用于为参考电容充电。
随后，模数转换器（ADC）将该电容电压转换为等效的二进制值，用于后续的MAC移位累加操作。
尽管ReRAM存内计算具有较高的面积效率，但它也存在一些缺点：
1、由于电压范围、噪声和PVT参数的变化，模拟位线电流检测和ADC的精度受到限制；
2、ReRAM阵列的写入周期较长；
3、ReRAM阵列的耐用性较差，限制了其在通用内存存储阵列中的应用。
因此，在推理神经网络规模较小、数据矢量表示受限（8位或更少）的情况下，使用ReRAM阵列可以提升面积效率。
然而，当神经网络规模较大、数据精度要求较高，且存储阵列需要支持更大的网络和重构工作负载时，更新权重操作往往会阻碍ReRAM对位电流进行有效检测。
在ISSCC会议上，台积电的研究团队提出了一种替代ReRAM的方法，他们采用改良的SRAM阵列进行（数据*权重）计算，这种方法无需依赖更新的存储技术，因此可以支持更大规模的神经网络。
台积电的SRAM阵列（来源：IEEE Xplore）
如果层数较多，SRAM阵列可以加载数据输入与权重进行节点计算，并保存输出值以供后续层检索。与ReRAM相比，SRAM阵列减少了数据和权重传递的能耗，并解决了ReRAM的耐用性问题。
每个slice包含256个数据输入，这些输入连接到“X”逻辑电路，数据输入向量的连续字节在时钟周期中被提供给“X”门。一个slice中存储了256个4-bit权重，每个数据输入对应一个权重，每个权重连接到“X”逻辑的另一个输入。
SRAM阵列中的逻辑集成示意图（来源：IEEE Xplore）
“X”是一个双输入或非门（NOR Gate），由一个数据输入和一个权重值作为输入，在面积效率和功率方面均具有显著优势。每个slice之间，集成了加法器树和部分累加逻辑。
加法器树示意图（来源：IEEE Xplore）
加法器树中的权重存储采用了传统的SRAM拓扑结构，其中的权重字线和位线进行常规连接。对于一个6T-bit单元，每个单元的存储值即为或非门的一个输入。
每个slice的输出表示每个权重向量的部分乘积总和。扩展数组之外的其他逻辑电路提供了移位相加计算，以支持更宽的权重表示。例如，一个（有符号或无符号整数）16-bit权重将组合来自4个slice的累加结果。
台积电基于SRAM的全数字测试器件突出展示了一个256输入、16个slice（4-bit权重半字节）的宏设计。
台积电基于SRAM的全数字测试器件的显微图（来源：IEEE Xplore）
其基于SRAM的存内计算宏可以在阵列中提升更新权重的效率，且该阵列基于数字逻辑的MAC操作可以在很宽的电源电压范围内使用。
SRAM阵列的电源电压（TOPS）和功率效率（TOPS/W）测试性能（来源：IEEE Xplore）
根据实验结果，采用22nm工艺的SRAM阵列功率效率达到89TOPS/W，运算密度为16.3TOPS/mm。
尽管此存内计算是在较旧的22nm工艺中测试的，但台积电的研究人员也提供了5nm节点的面积功率与功率效率预估。
与22nm节点相比，5nm节点的电源电压（TOPS）和功率效率（TOPS/W）将分别提升2.8倍和19倍。
从云端到边缘设备，人工智能（AI）和机器学习（ML）被广泛应用于图像分类、语音识别等任务。近年来，由于AI在边缘的优势，如隐私保护、低延迟及对网络带宽的有效利用等，AI边缘设备的研究受到了越来越多的关注。
然而，传统的计算架构，如CPU、GPU、FPGA等，因能耗问题难以满足AI边缘应用的未来需求。本次台积电提出的SRAM阵列通过在内存中进行计算，可以减少内存访问的能量消耗，或许能够有效解决AI边缘的能耗问题。
来源：SemiWiki、IEEE Xplore