大模型仍在持续引领技术的创新与演进。从大模型单一应用到大模型Agent,再到大模型操作系统。
近年来,大模型的发展可谓是突飞猛进,它的崛起引领了一场技术革命。从最初的自然语言处理领域,拓展到了机器视觉、多模态交互等多个领域,同时,它也使得Agent能够更好地理解和生成自然语言,处理更复杂的任务。
大模型也在影响着操作系统的演进,操作系统正在向着AI进化,而且下一代操作系统进化的方向将以大模型为核心。4月16日,百度智能云发布了新一代智能计算操作系统—「万源」。它通过对AI原生时代的智能计算平台进行抽象与封装设计,为用户屏蔽掉云原生系统与异构算力的复杂性,提升AI原生应用开发效率与体验。
大模型在指令遵循、知识检索、推理问答、人机交互等方面性能强大。但它本身也存在幻觉、安全隐私、知识更新等问题。当面对多样化的应用场景时,单纯依赖大模型能力并不是一个好的解决方案。为此,大模型Agent应运而生,它以大模型为驱动,具有自主理解感知、规划、记忆和使用工具的能力,能自动化执行完成复杂任务的系统。
然而,随着Agent应用日益增多,研究人员开始发现,如何高效管理和调度这些Agent成了主要问题,尤其是底层宝贵的显卡资源该如何充分使用?
可以看到,大模型与操作系统融合将成为一个重要趋势。通过融合大模型的能力,操作系统有望进一步缩小人机之间的交互距离,开启新的用户-计算机交互时代。
近日,国内产业界带来了大模型与操作系统融合创新的又一进展。4月16日,百度智能云发布了新一代智能计算操作系统:万源。
「万源」或将颠覆传统的云计算系统。与上一代云计算时代的操作系统不同,在大模型时代,操作系统的内核发生了很大变化,首先底层硬件从以CPU为主变成以GPU为主,其次新增了被大模型压缩的世界知识。操作系统管理的对象也有了本质变化,从管理进程、管理微服务变为管理智能。时代变了,大模型时代,需要全新的操作系统,取代云计算系统成为主角,「万源」由此诞生。
它也改变了人类与操作系统的交互方式。传统操作系统交互需要依赖编程语言,例如:C/C++、Java、Python等,而「万源」让开发者只需通过自然语言就可构建出自己的应用,现在只要开发者有想法,就可以很快将应用落地。
该架构具备强大算力效能、大模型智能内核、开发更极简等特点。接下来,让我们具体看看它有什么神奇之处吧。
万源智能计算操作系统主要包含三大层:Kernel(内核)层、Shell(外壳)层、Toolkit(工具)层,底层屏蔽掉云原生系统与异构算力的复杂性,上层为AI原生应用的敏捷开发提供支撑。
该层提供高效的异构算力和强大的大模型能力。
在算力资源管理方面,百度百舸AI异构计算平台重点解决算力效能、算力集群、一云多芯等问题。
「百舸算力效能业界领先」 算力的有效管理至关重要,「万源」可将现有的算力资源发挥到极致,支撑大模型和应用创新的迭代。训练领先的大模型需要万卡规模的集群,要让上万张卡同时工作,保障任务不间断,这对集群的设计、调度、容错都是巨大的挑战。目前,百舸在万卡集群上的有效训练时长占比超过98.8%;线性加速比和带宽有效性都达到了95%。
「百舸在“一云多芯”技术上实现创新突破」 当前考虑到国内芯片供应现状,国内企业不可避免的要多芯(国产芯片、其它合规芯片等)混用来构成集群跑大模型训练任务,「“一云多芯”已成为当前企业天然的需求」。
百舸兼容昆仑芯、昇腾、海光DCU、英伟达、英特尔等国内外主流AI芯片,支持用户以最小代价完成算力适配。百舸为大家屏蔽掉了芯片之间的差异,方便大家自由选择和发挥不同芯片组合的最大能力。
此外,“一云多芯”在模型训练场景中是极难攻坚的难题,不同厂商的芯片差异很大,即使同一厂商,不同代系的芯片差距也很大。要想在大模型训练、特别是单一训练任务上,管理好多个厂商、不同代系的芯片非常困难。
目前,百舸平台上已经实现了百卡规模、单一训练任务下,不同厂商芯片的混合训练,并且把训练的性能损失控制在3%;即使在千卡规模下,性能损失也不超过5%。
据百度集团副总裁侯震宇透露:为实现“一多云芯”,百舸采用了很多业内领先的技术。
首先是如何让不同的芯片都能跑起来,百舸线性加速比达到95%与底层的加速库AIAK密不可分。AIAK的核心功能是网络通信加速,每家芯片厂商的算子实现不同,百舸在AIAK层做好通讯库,将底层的通信和上层的算子优化和实现拆开,让不同厂商的芯片分别做算子优化实现,以实现不同芯片都能跑在百舸的加速库上。
基于第一步作为基础,下一步是如何让异构芯片都跑在同一张算力网里,跑同一个训练任务,为此,百舸团队在底层加速库又做了并行框架实现,采用Tensor Parallel(张量并行)、流水线并行,模型并行等多种并行策略,且采用自研自适应算法自动实现并行策略的参数设定。
另一方面,大模型也是内核层的重要组成部分。大模型压缩了巨量的世界知识,并将自然语言的理解、生成、逻辑、记忆能力进行封装。
「万源」集成了业界领先的ERNIE 4.0、ERNIE3.5大语言模型、也包括ERNIE Speed/Lite/Tiny系列轻量模型,此外还包括文心视觉大模型和一些各有特色的第三方大模型,充分满足用户在不同业务场景下的多样化需求。
该层主要指的是百度智能云千帆ModelBuilder ,旨在解决模型管理、调度、二次开发问题。
「模型管理」 “站在巨人的肩膀上” :面对多样化场景需求,用户无需从头去训练大模型,只要在合适的基础大模型上做模型精调,甚至是优化一下提示词,就能很好地解决问题。
「模型调度」 “杀鸡焉用宰牛刀” :面对不同难度的任务,千帆ModelBuilder提供模型路由方案,自动调度给合适参数规模的模型,实现效果与成本的最优组合,在效果基本持平的情况下,平均降低30%的推理成本。
「模型二次开发」 “精调专属模型更简单”:千帆ModelBuilder把工具产品化,屏蔽掉模型开发的复杂性,让更多人只投入少量的数据、资源和精力,就能快速精调出适合自己业务的模型。
该层主要指的是AgentBuilder和千帆AppBuilder,旨在解决AI原生应用开发问题。
「AgentBuilder」 是基于文心大模型的智能体构建平台,为开发者提供低成本的开发方式,支持开发者根据自身行业领域、应用场景,采用多样化的能力、工具,打造智能体。