什么是 Tensor Tiling?

在电动汽车中,每一个焦耳都很重要 – 从外部记忆体存取资料就是主要功耗之一。这就是为什么未来将启用高级驾驶员辅助系统(ADAS)和自动驾驶平台的AI芯片的设计者关心系统中消耗了多少带宽的原因。

在这些系统中,我们将要依赖的各种ADAS和自主功能的处理(例如语音识别以及多摄像机/传感器对象检测和跟踪)将需要高性能的神经网络推理,这通常会为SoC内部的内存带宽带来巨大的压力。由于片上系统(SoC)内部的带宽非常宝贵,因此节省的每一位元都可以降低功耗,并有助于扩展汽车的续航里程。

这就是为什么Imagination Tensor Tiling技术至关重要的原因。张量很大的多维阵列资料元是神经网路中使用的主要关键结构。传统上,这些操作需要频繁重复地存取主记忆体,这会消耗大量带宽和功率。

Imagination Tensor Tiling技术,可有效地把张量分为多个区块(tile)并分组处理,,使它们可以更高效地进行处理,结合IMG Series4神经网络加速器(NNA)中的片上记忆体,可显著降低功耗,以及节省芯片面积以降低成本。