对于深度学习而言，FPGA提供了优于传统GPP加速能力的显著潜力。GPP在软件层面的执行依赖于传统的冯·诺依曼架构，指令和数据存储于外部存储器中，在需要时再取出。这推动了缓存的出现，大大减轻了昂贵的外部存储器操作。该架构的瓶颈是处理器和存储器之间的通信，这严重削弱了GPP的性能，尤其影响深度学习经常需要获取的存储信息技术。相比较而言，FPGA的可编程逻辑原件可用于实现普通逻辑功能中的数据和控制路径，而不依赖于冯·诺伊曼结构。它们也能够利用分布式片上存储器，以及深度利用流水线并行，这与前馈性深度学习方法自然契合。现代FPGA还支持部分动态重新配置，当FPGA的一部分被重新配置时另一部分仍可使用。这将对大规模深度学习模式产生影响，FPGA的各层可进行重新配置，而不扰乱其他层正在进行的计算。这将可用于无法由单个FPGA容纳的模型，同时还可通过将中间结果保存在本地存储以降低高昂的全球存储读取费用。
最重要的是，相比于GPU，FPGA为硬件加速设计的探索提供了另一个视角。GPU和其它固定架构的设计是遵循软件执行模型，并围绕自主计算单元并行以执行任务搭建结构。由此，为深度学习技术开发GPU的目标就是使算法适应这一模型，让计算并行完成、确保数据相互依赖。与此相反，FPGA架构是为应用程序专门定制的。在开发FPGA的深度学习技术时，较少强调使算法适应某固定计算结构，从而留出更多的自由去探索算法层面的优化。需要很多复杂的下层硬件控制操作的技术很难在上层软件语言中实现，但对FPGA执行却特别具有吸引力。然而，这种灵活性是以大量编译(定位和回路)时间为成本的，对于需要通过设计循环快速迭代的研究人员来说这往往会是个问题。
