过去一年是大模型蓬勃发展的一年,随着ChatGPT的诞生,众多大型科技企业、初创企业相继参与竞争,“百模大战”不断升级,基于模型的应用也在快速迭代。而大模型的快速进化和推广应用也引发了新一轮的技术变革。
“大模型出来后,通用大模型能解决的问题、它的智能化远远超出我们原来的水平,所以大家对它非常期盼。”刘韵洁院士接受记者采访时说道。同时也表示,实体经济需要行业大模型,但发展行业大模型要把行业大数据保护好、利用好、管理好。
去年9月,中国信息通信研究院发布《数据要素白皮书(2023)》。报告指出,随着“数据二十条”等一系列政策措施相继出台,数据要素市场培育进展加速,畅通数据资源大循环的方向愈加明确,尤其是在人工智能快速迭代、大模型与大数据相得益彰的发展态势中,数据要素战略地位进一步凸显。近日,在国家数据局等17部门联合印发《“数据要素x”三年行动计划(2024-2026年)》,其中选取工业制造、现代农业、商贸流通、交通运输、金融服务、城市治理等12个行业和领域,推动发挥数据要素乘数效应。而发挥数据要素价值,离不开AI模型,特别是大模型。
可见,大模型的训练和落地需要依靠海量的数据支撑,打造行业大模型进一步深挖数据要素价值,推动千行百业实现转型升级。那行业大模型如何与算力结合、如何与用户数据结合,这就需要一个超大规模、超高带宽、超强可靠的网络,为行业大模型应用提供强有力的支持。
大模型需要什么样的网络?
训练大模型所需的海量算力,单台服务器无法提供。需要由大量的服务器作为节点,通过高速网络组成集群。服务器之间互联互通,相互协作完成任务。一旦各个计算节点完成单个批次的梯度计算,它们需要在网络中同步这些梯度值,并更新模型参数。一个高性能的网络可以确保这个过程尽可能地快速、精确,从而使整个模型训练过程更加高效。
面对千亿、万亿参数规模的大模型训练,仅仅是单次计算迭代内梯度同步需要的通信量就达到了百GB量级,此外还有各种并行模式、加速框架引入的通信需求,使得传统低速网络的带宽远远无法支撑GPU集群的高效计算。
大模型背后的网络支撑,确定性网络是其中的重要一支。刘韵洁院士提出一个新的概念,就算力而言,需要一个公用专网的技术,也就是提供一种网络技术,像专网一样可以保证安全和质量,又像公网一样经济、方便灵活。
我国重大科技基础设施——未来网络试验设施(CENI),这个大科学装置以其确定性的技术优势既能提供便捷灵活又能提供安全可靠的上网服务能力。目前确定性网络已经在全国38个城市开通了服务,国内第一张基于确定性+RDMA的算力网络也已构建完成,为算力网的发展奠定了基础。同时,以其具备的大带宽、低时延、低抖动、高可靠的性能可为不同行业、不同场景下的大模型训练提供确定性网络支撑能力,能够极大提升大模型的生成效率。
刘韵洁院士还表示,行业大模型的训练和使用需要方方面面的协同合作,围绕网络、模型、应用、数据、管理等各方面希望能够合力形成一盘棋,共同为行业大模型应用、算力网络发展贡献力量。
征战大模型时代:以确定性网络打通数据运力大动脉 推动发挥数据要素乘数效应
版权©山东未来集团有限公司