图形处理单元GPU与空间纯粹直观形式
矩阵运算并不关心最终产品是什么，而只是处理元素。这是一种轻微的过度简化，因为不同的运算依稀疏矩阵（当有很多零时）与密集矩阵的不同而有不同的工作方式，但内容不会改变运算，这个事实依然存在。当深度学习理论学者看到GPU的发展时，很快就采用其来加速张量运算。
GPU对机器学习的发展至关重要，推动了数据中心的训练和推理。例如，NVIDIA Volta V100 Tensor Core在其基本架构和以更低精度运行推理的能力方面继续加速推进（这将是另一个话题，意味着更少的位，即意味着更快的处理）。但是，当涉及物联网时还有其他问题需要考虑。
训练一个推理引擎（机器学习“机器”的核心）可能需要千兆字节，甚至兆兆字节的数据。在数据中心运行推理时，计算机必须管理一个潜在的不断增加中的并发用户请求数。在边缘应用程序中，无论是在用于检查管道的无人机中还是在智能手机中，设备都必须很小且仍然有效，而且还具有适应性。一个CPU和一个GPU是两个器件，而一个FPGA可以有不同的块做不同的事情，并有可能提供一个稳健的芯片系统。鉴于不同需求，最好了解可支持不同需求系统架构的当前状态。