详解深度学习模型加载的硬件方案

[TOC]

文章参考：https://mp.weixin.qq.com/s/sbc54awOZmMAn5U1IYKtLA

概述

对于许多 AI 硬件公司来说，最近几年似乎是 AI 硬件发展的黄金时代；过去三年英伟达股价暴涨约 + 500%，超越英特尔成为全球市值最高的芯片公司。其他创业公司似乎同样火爆，在过去几年中，他们已花费数十亿美元资助 AI 硬件初创公司，以挑战英伟达的 AI 领导地位。

此外，还有一些有趣的收购故事。2016 年，英特尔以 3.5 亿美元收购了 Nervana，2019 年底又收购了另一家名为 Habana 的人工智能初创公司，该公司取代了 Nervana 提供的解决方案。非常有意思的是，英特尔为收购 Habana 支付了 20 亿美元的巨款，比收购 Nervana 多好几倍。

AI 芯片领域，或者更准确地说，AI 加速器领域（到目前为止，它已经不仅仅是芯片）包含了无数的解决方案和方法，所以让我们回顾这些方法的主要原则。

AI 加速器不同实现方法

英伟达：GPU + CUDA

英伟达成立于 1993 年，是最早研究加速计算的大公司之一。英伟达一直是 GPU 行业的先驱，后来为游戏机、工作站和笔记本电脑等提供各种 GPU 产品线，已然成为世界领导者。正如在之前的文章中所讨论的，GPU 使用数千个简单的内核。相比来说，CPU 使用较少的内核。

最初 GPU 主要用于图形，但在 2000 年代中后期左右，它们被广泛用于分子动力学、天气预报和物理模拟等科学应用。新的应用程序以及 CUDA 和 OpenCL 等软件框架的引入，为将新领域移植到 GPU 铺平了道路，因此 GPU 逐渐成为通用 GPU （General-Purpose GPU），简称 GPGPU。