IPU：颠覆AI时代的利器

近年来人工智能（AI）高速发展，GPU迅速成为AI市场的主流产品之一，其势头甚至盖过了CPU。但随着云端的计算需求从算量到算力都在爆发性增长，传统的CPU和GPU已无法满足机器人学习计算的高速需求，前沿的创新AI算法模型经常受到硬件的掣肘而被迫妥协，因此AI专用芯片IPU（智能处理器）应运而生。

作为新型AI加速器，IPU（Intelligence Processing Unit）由来自英国的Graphcore——一家专注于机器智能的AI芯片明星创企推出，从零设计、专门适用于算力密集型的机器学习和深度学习任务，是一种高度灵活、易于使用的并行处理器，能在目前用于训练和推理的机器智能模型上实现最先进的性能。IPU可广泛应用于无人驾驶、云计算等领域。

Graphcore曾获得多位AI领域知名学术投资人的背书。“在计算机历史上只发生过三次革命，第一次是70年代的CPU，第二次是90年代的GPU，而Graphcore就是第三次革命”英国半导体之父Arm联合创始人Hermann Hauser如是说。他所指的第三次革命正是Graphcore率先提出的为AI计算而生的IPU。Graphcore作为行业里的新秀，其硬件、软件和IPU系统解决方案有何独特价值优势？在市场上有哪些典型应用？如何进一步推动中国AI创新的发展，助力中国人工智能产业？6月3日，Graphcore高级副总裁兼中国区总经理卢涛先生和Graphcore中国销售总监朱江博士作客直播间与行业媒体进行了深入的探讨。

Graphcore高级副总裁兼中国区总经理卢涛先生

IPU是为机器智能专门设计的完全不同的处理器架构，已在本地自建数据服务器及云上可用。在现有及下一代模型上，IPU的性能均远超领先的GPU，如：自然语言处理速度提升25~50%；图像分类达到6倍吞吐量，且更低时延；金融客户模型训练速度提升26倍。历时四年的发展，Graphcore已经筹集了超过4.5亿美元的风险投资，公司估值近320亿美元。Graphcore全球现有13个机构与办事处，全球员工约450人。卢涛先生透露，Graphcore除拥有众多知名金融投资外，还拥有宝马、博世、戴尔、微软、三星等知名企业的战略投资，由此可见，IPU技术未来可期。

传统的CPU实际上是一个针对应用和网络进行设计的处理器、是一个标量处理器。而GPU是针对图形和高性能计算、以向量处理为核心的一个处理器。随着模型尺寸大幅增长，传统的处理器架构面对密集计算不可持续，因此市场亟需一款全新处理器架构。而Graphcore IPU就是针对人工智能计算图的处理来设计的处理器，相较CPU、GPU的性能优势，IPU的优势取决于它完成的任务。如果用于静态图像分类的前馈卷积神经网络，GPU目前表现尚佳。但IPU可以提供两到三倍的性能优势，有时甚至是五倍。对于更复杂的模型，例如有数据来回传递以尝试理解情境（对话）的模型，由于数据被传递多次，速度因此需非常快。对于这样的应用，由于所有的模型都保存在IPU处理器中，因此IPU可以比GPU快很多，达到十倍、二十倍甚至数百倍。

目前基于IPU的应用已覆盖机器学习的各个应用领域，包括自然语言处理、图像/视频处理、时序分析、推荐/排名及概率模型，且均具备全方位的优势。

Graphcore中国销售总监朱江博士

在实际应用中，Graphcore硕果累累。5月12日，在OCP Global Summit上，阿里巴巴异构计算首席科学家张伟丰博士宣布Graphcore支持ODLA的接口标准。ODLA全称为Open Deep Learning API，通过这种结构，阿里巴巴试图为底层架构抽象出来一个统一的API接口。Graphcore现已正式适配支持ODLA。

5月20日举办的百度Wave Summit 2020上，百度集团副总裁吴甜女士宣布Graphcore成为飞桨硬件生态圈的创始成员之一。作为国内最重要的一个深度学习框架，也是一个开源框架，百度飞桨现在拥有非常广大的生态系统，包括百万以上的开发者和几十万模型。未来，Graphcore将和百度飞桨一起，帮助创新者进行突破性创新，加速AI模型部署及进入市场。

此外，5月27日举办的英国Intelligent Health峰会上，微软机器学习科学家分享了使用IPU训练微软CXR模型的卓越性能。IPU在运行微软新冠肺炎影像分析的算法模型时，表现非常抢眼，能在30分钟内完成在NVIDIA GPU上需要5个小时的训练工作量，使得AI在高清医学影像领域的应用展现出重要价值。

在垂直应用中，Graphcore IPU可广泛应用于金融、医疗与生命科学、电信、机器人、云和互联网领域。朱江博士着重对机器人领域应用进行了分享，“Graphcore与伦敦帝国理工学院在空间AI以及空间的及时定位和地图构建等领域开展技术合作，帮助机器人完成比较复杂的动作和更高级的功能。这些领域会需要一些稀疏概率、图形几何推理以及神经网络计算方面的能力。在这些场景中，通信和计算同样重要，IPU能够实现在保持低延时特性的同时，达到很高的功耗效率。”

IPU是AI芯片领域的翘楚，业界感谢Graphcore所作出的创新努力。卢涛先生和朱江博士表示创新是由人力、业务流程和成熟技术三方面所驱动，企业机构需要把核心技术成果运用到实际应用当中，从而进一步推动创新的发展。卢涛先生表示，未来Graphcore将根据中国人工智能应用的市场特点，通过丰富IPU的软件生态来更好服务中国本土客户与合作伙伴。