Graphcore：乘数字之风，持续创新，引领人工智能IPU未来

数字化革命浪潮席卷而来，5G、物联网、大数据、区块链等新一代信息技术快速进步，新能源电动汽车市场蓬勃发展，未来，正从数字化、网络化向智能化发展。人工智能（AI）作为一种新兴的颠覆性技术，正在释放科技革命和产业变革积蓄的巨大能量，深刻改变着人类生产生活方式和思维方式，对经济发展、社会进步等方面产生重大而深远的影响。

在已经过去的2020年，专为人工智能从零开始设计了IPU智能处理器的Graphcore发布了第二代IPU产品。近日，Graphcore高级副总裁兼中国区总经理卢涛先生和Graphcore中国工程总负责人、AI算法科学家金琛女士就Graphcore的第二代IPU产品有何创新优势，人工智能创新者如何从最新的Poplar SDK 1.4的关键新功能中获益，Graphcore在中国以及全球的业务发展情况及合作伙伴生态圈方面的相关计划和进展，以及在人工智能的升级需求推进下，Graphcore产品将面临怎样的市场挑战等话题与行业媒体展开了进一步交流。

为配合IPU，在软件方面，Graphcore持续更新Poplar软件。Poplar SDK已更新至1.4版本，并同时发布了面向IPU的PyTorch产品级版本，只需几行额外代码，开发者就可以在PyTorch上无缝运行他们的应用程序。PyTorch在AI社区，尤其是在研究者社区里是一个炙手可热的机器学习框架，现在在机器学习框架里面与TensorFlow“两分天下”。

金琛女士介绍到“Poplar SDK 1.4基于Poplar SDK 1.3做了进一步的优化，可以支持大的embedding。Embedding主要用来做推荐模型。我们还引入了对于PyTorch GA的支持。在Poplar SDK 1.4中，可视化工具除了支持单机上的性能测写，也支持多机性能测写。我们还在训练上做了一些优化。现在有混合精度的训练或者是scale-out训练，训练越来越多，越来越不稳定。我们采取了一些措施让训练更稳定，比如一个自动化的扩展随损失值，这个机制使得您可以根据损失值的值域自动调节和缩放这些损失，使得在FP16的情况下还能够保持最小的梯度，就算增大batch-size，我们的梯度累计也是有效的，我觉得这是一个非常有用的特征。在未来，模型会越来越大，引入稀疏性逐渐成为了一种必然的趋势和选择。为了更好地支持“稀疏性”，我们也会在我们的公共库里面引入一个“稀疏库”，这个库的主要作用就是支持静态的和动态的稀疏矩阵乘法。”

作为“革命性”产品，第二代IPU（MK2 IPU）以及由其组成的IPU-M2000机器智能刀片式计算单元和IPU-POD64这一全新模块化机架规模解决方案，可满足最苛刻的机器智能工作负载。卢涛先生特别指出“IPU-M2000是继英伟达的GPU和谷歌的TPU之后，世界上第三个公开发布的能够训练BERT-Large模型的AI处理器产品。IPU-POD64是由16台IPU-M2000组成的一个解决方案，目前已在全球范围之内实现了该方案的交付，该方案实现了x86和IPU计算的解耦。IPU-POD64是目前市场上非常少见的，可以同时将纵向扩展和横向扩展都做得非常好的AI计算平台产品。”

IPU-M2000及IPU-POD64在2020年第四季度正式发货，先批发货的部分产品已在客户的数据中心安装运行。Graphcore全球精英合作伙伴网络及Graphcore在全球的销售及现场工程团队将为客户提供完善的销售及服务。

为了进一步量化IPU的优秀性能，Graphcore发布了一组围绕IPU-M2000和IPU-POD64的全新benchmark。这组benchmark覆盖了很多模型的训练结果，包括典型的CV模型ResNet、基于分组卷积的ResNeXt、EfficientNet、语音模型、以及BERT-Large等自然语言处理模型和MCMC等传统机器学习模型。这些模型在IPU上展现出了比较大的性能提升。比如相比V100，在IPU-M2000上，ResNet的吞吐量提升了4倍，ResNeXt的吞吐量提升了5.4倍，EfficientNet的吞吐量达到了18倍，Deep Voice 3达到了13倍。BERT-Large这样的大型模型或是MCMC这样的传统模型，在一台IPU-POD64这样的系统级产品中训练，相比在2台DGX-A100上训练，也能够实现一定的性能收益。

最新的benchmark显示，IPU的独特架构能够助力当今领先模型实现最先进的性能，更在下一代模型所需的较小分组卷积上显示出了巨大的性能优势。除了常见的模型，该benchmark还覆盖了那些被应用在金融、汽车等领域，解决难度较高的机器学习问题的模型。与传统计算方式相比，IPU能够更加充分地发挥这些模型的潜能。

在社区方面，Graphcore携手阿里云、微软亚洲研究院等行业巨头，汇集双方力量，展开进一步的技术合作，拥抱行业生态的同时为合作伙伴扩展新的价值。

Graphcore是阿里云HALO/ODLA的共建合作伙伴之一，目前在阿里云HALO的GitHub里已经有IPU的完整支持代码库odla_PopArt。

此外，用户可以从多种渠道获取IPU。用户可以通过微软Azure云、金山云等云厂商获取IPU云端解决方案，也可以通过戴尔、浪潮等服务器厂商获取搭载IPU的服务器产品，用户还可以通过神州数码等渠道商、渠道合作伙伴获取IPU。在全球范围之内，Graphcore的渠道合作伙伴还在不停的丰富。去年，Graphcore推出了Graphcore全球伙伴计划，以招募更多的伙伴来促使IPU产品进行落地。

在开发者社区、研究者社区的建设方面，中文官网与开发者社区门户网站已经上线（http：//www.graphcore.cn）。Graphcore与阿里云和微软亚洲研究院合作的社区共建项目——HALO和NNFusion，都希望从AI编译的角度让用户能够在GPU和IPU之间尽量平滑的进行迁移，因此这两个项目支持的最主要的平台也是GPU和IPU。另外，Graphcore在2021年会与国内一家知名高校正式启动IPU大学课程。2021年Graphcore将在中国重点发力两件事——落地、生态建设。

2020年Graphcore在研究领域取得了诸多的成就，而MK2 IPU的发布也为人工智能创新者的下一步突破带来了无限可能。据悉，Graphcore公司在E轮融资筹集了2.22亿美元，增资后公司的估值为27.7亿美元。Graphcore表示新投资将用于支持公司继续在全球扩展业务，并进一步加速未来IPU芯片、系统和软件的开发。新投资者带来了在颠覆性技术领域的丰富经验和对扩展型企业的支持，突显了Graphcore在数据中心AI计算的潜在市场里拥有的巨大机遇以及公司产品的成熟度。

未来，随着云技术和5G等数字化大趋势的发展以及AI普及率的提高，通用AI处理器的市场将变得非常重要，IPU技术在性能上远优于GPU等传统处理器，Graphcore作为该领域的领导者将一如既往针对AI开发人员的需求开发功能强大的软件工具集，并且通过全球销售运营把产品推向市场，Graphcore与志同道合的伙伴一同构建命运共同体，携手打造IPU生态圈，帮助每一个世界级的互联网公司“拨云见日”，全面开启数字化转型新征程。