多模态人工智能正大步走向场景应用新阶段

　　目前的网络数据包括图像、视频、文字、音频等不同模态。对于人工智能来说，要想更好地掌握、分析、利用网络上的数据，就需要能够对这些多模态的数据进行系统的统筹和分析。

　　王金桥表示：“技术创新是推动多模态人工智能产业发展的重要动力之一。自20世纪70年代多模态学习起步以来，伴随着近年来生成式预训练、基于Transformer的双向编码器表达等大规模预训练模型的快速涌现，人工智能研究领域正在经历一场有监督学习向无监督学习条件下‘大数据+大模型’的大规模预训练范式转变，多模态人工智能发展迎来了新的巅峰。”

　　近年来，多模态人工智能在场景泛化性、对数据的依赖性等方面都取得了巨大的技术突破。

　　“多模态人工智能通过自监督的学习方式对海量无标注数据进行学习，同时面向特定任务场景进行小数据的标注学习和微调。相对于单模态人工智能，其对数据标注的依赖性降低了一个数量级以上。”王金桥说。

　　“多模态大模型+小模型”模式或成主流

　　2017年，国务院制发《新一代人工智能发展规划》，由人工智能技术引发的产业变革正在加速演进。目前，各行各业利用人工智能技术打造的产业新应用、新业态、新模式不断涌现，我国的人工智能产业化势头迅猛，多模态人工智能产业也取得了许多突破。

　　如今，多模态人工智能产业正大步走向场景化、实用化。“目前，模型参数与数据规模不再是各研发机构的比拼重点，多模态人工智能产业正在走向场景应用的新阶段。”王金桥表示。

　　“例如，‘全媒体多模态大模型’就是基于中国科学院自动化研究所‘闻海’多模态媒体大数据和‘紫东太初’三模态大模型的技术积累，结合新华社全媒体的海量数据积累和媒体融合业务场景而建立的。‘全媒体多模态大模型’将加速推动人工智能在视频配音、语音播报、标题摘要、海报创作等多元媒体业务场景的应用。”王金桥说。

　　此外，在智慧城市、金融科技、民生服务等许多领域，多模态人工智能也有着广阔的应用场景。

　　王金桥表示，未来“多模态大模型+小模型”的模式或将成为多模态人工智能的主流，该模式可以有效解决需求碎片化、多样化等问题。

　　王金桥表示，我国应该打造工业化范式的多模态大模型生态，持续完善国产基础软硬件支撑体系，加大人工智能与医学、材料、气候等科学研究领域的结合力度，健全人工智能产业应用政策标准，大力培养人工智能复合型人才。