操作系统向进化!大模型时代的操作系统「万源」来了

大模型仍在持续引领技术的创新与演进。从大模型单一应用到大模型Agent,再到大模型操作系统。

近年来,大模型的发展可谓是突飞猛进,它的崛起引领了一场技术革命。从最初的自然语言处理领域,拓展到了机器视觉、多模态交互等多个领域,同时,它也使得Agent能够更好地理解和生成自然语言,处理更复杂的任务。

大模型也在影响着操作系统的演进,操作系统正在向着AI进化,而且下一代操作系统进化的方向将以大模型为核心。4月16日,百度智能云发布了新一代智能计算操作系统—「万源」。它通过对AI原生时代的智能计算平台进行抽象与封装设计,为用户屏蔽掉云原生系统与异构算力的复杂性,提升AI原生应用开发效率与体验。

大模型在指令遵循、知识检索、推理问答、人机交互等方面性能强大。但它本身也存在幻觉、安全隐私、知识更新等问题。当面对多样化的应用场景时,单纯依赖大模型能力并不是一个好的解决方案。为此,大模型Agent应运而生,它以大模型为驱动,具有自主理解感知、规划、记忆和使用工具的能力,能自动化执行完成复杂任务的系统。

然而,随着Agent应用日益增多,研究人员开始发现,如何高效管理和调度这些Agent成了主要问题,尤其是底层宝贵的显卡资源该如何充分使用?

可以看到,大模型与操作系统融合将成为一个重要趋势。通过融合大模型的能力,操作系统有望进一步缩小人机之间的交互距离,开启新的用户-计算机交互时代。

近日,国内产业界带来了大模型与操作系统融合创新的又一进展。4月16日,百度智能云发布了新一代智能计算操作系统:万源。

「万源」或将颠覆传统的云计算系统。与上一代云计算时代的操作系统不同,在大模型时代,操作系统的内核发生了很大变化,首先底层硬件从以CPU为主变成以GPU为主,其次新增了被大模型压缩的世界知识。操作系统管理的对象也有了本质变化,从管理进程、管理微服务变为管理智能。时代变了,大模型时代,需要全新的操作系统,取代云计算系统成为主角,「万源」由此诞生。

它也改变了人类与操作系统的交互方式。传统操作系统交互需要依赖编程语言,例如:C/C++、Java、Python等,而「万源」让开发者只需通过自然语言就可构建出自己的应用,现在只要开发者有想法,就可以很快将应用落地。

该架构具备强大算力效能、大模型智能内核、开发更极简等特点。接下来,让我们具体看看它有什么神奇之处吧。

万源智能计算操作系统主要包含三大层:Kernel(内核)层、Shell(外壳)层、Toolkit(工具)层,底层屏蔽掉云原生系统与异构算力的复杂性,上层为AI原生应用的敏捷开发提供支撑。

该层提供高效的异构算力和强大的大模型能力。

在算力资源管理方面,百度百舸AI异构计算平台重点解决算力效能、算力集群、一云多芯等问题。

「百舸算力效能业界领先」 算力的有效管理至关重要,「万源」可将现有的算力资源发挥到极致,支撑大模型和应用创新的迭代。训练领先的大模型需要万卡规模的集群,要让上万张卡同时工作,保障任务不间断,这对集群的设计、调度、容错都是巨大的挑战。目前,百舸在万卡集群上的有效训练时长占比超过98.8%;线性加速比和带宽有效性都达到了95%。

「百舸在“一云多芯”技术上实现创新突破」 当前考虑到国内芯片供应现状,国内企业不可避免的要多芯(国产芯片、其它合规芯片等)混用来构成集群跑大模型训练任务,「“一云多芯”已成为当前企业天然的需求」。

百舸兼容昆仑芯、昇腾、海光DCU、英伟达、英特尔等国内外主流AI芯片,支持用户以最小代价完成算力适配。百舸为大家屏蔽掉了芯片之间的差异,方便大家自由选择和发挥不同芯片组合的最大能力。

此外,“一云多芯”在模型训练场景中是极难攻坚的难题,不同厂商的芯片差异很大,即使同一厂商,不同代系的芯片差距也很大。要想在大模型训练、特别是单一训练任务上,管理好多个厂商、不同代系的芯片非常困难。

目前,百舸平台上已经实现了百卡规模、单一训练任务下,不同厂商芯片的混合训练,并且把训练的性能损失控制在3%;即使在千卡规模下,性能损失也不超过5%。

据百度集团副总裁侯震宇透露:为实现“一多云芯”,百舸采用了很多业内领先的技术。

首先是如何让不同的芯片都能跑起来,百舸线性加速比达到95%与底层的加速库AIAK密不可分。AIAK的核心功能是网络通信加速,每家芯片厂商的算子实现不同,百舸在AIAK层做好通讯库,将底层的通信和上层的算子优化和实现拆开,让不同厂商的芯片分别做算子优化实现,以实现不同芯片都能跑在百舸的加速库上。

基于第一步作为基础,下一步是如何让异构芯片都跑在同一张算力网里,跑同一个训练任务,为此,百舸团队在底层加速库又做了并行框架实现,采用Tensor Parallel(张量并行)、流水线并行,模型并行等多种并行策略,且采用自研自适应算法自动实现并行策略的参数设定。

另一方面,大模型也是内核层的重要组成部分。大模型压缩了巨量的世界知识,并将自然语言的理解、生成、逻辑、记忆能力进行封装。

「万源」集成了业界领先的ERNIE 4.0、ERNIE3.5大语言模型、也包括ERNIE Speed/Lite/Tiny系列轻量模型,此外还包括文心视觉大模型和一些各有特色的第三方大模型,充分满足用户在不同业务场景下的多样化需求。

该层主要指的是百度智能云千帆ModelBuilder ,旨在解决模型管理、调度、二次开发问题。

「模型管理」 “站在巨人的肩膀上” :面对多样化场景需求,用户无需从头去训练大模型,只要在合适的基础大模型上做模型精调,甚至是优化一下提示词,就能很好地解决问题。

「模型调度」 “杀鸡焉用宰牛刀” :面对不同难度的任务,千帆ModelBuilder提供模型路由方案,自动调度给合适参数规模的模型,实现效果与成本的最优组合,在效果基本持平的情况下,平均降低30%的推理成本。

「模型二次开发」 “精调专属模型更简单”:千帆ModelBuilder把工具产品化,屏蔽掉模型开发的复杂性,让更多人只投入少量的数据、资源和精力,就能快速精调出适合自己业务的模型。

该层主要指的是AgentBuilder和千帆AppBuilder,旨在解决AI原生应用开发问题。

「AgentBuilder」 是基于文心大模型的智能体构建平台,为开发者提供低成本的开发方式,支持开发者根据自身行业领域、应用场景,采用多样化的能力、工具,打造智能体。

THE END
0.人工智能时代教育教学方式范文导语:如何才能写好一篇人工智能时代教育教学方式,这就需要搜集整理更多的资料和文献,欢迎阅读由公文云整理的十篇范文,供你借鉴。 篇1 关键词:人工智能,基础教育,专业发展 一、前言 人工智能(ArtificialIntelligence,简称AI)快速发展,在一定程度上促进了人们的思维方式、人际互动模式以及学习和教学方式的改变,我国教育jvzquC41yy}/i€~qq0ipo8mcqyko1;;4;27/j}rn
1.AIGC领航计划系列快速入门指南科普篇从物理操作到程序指令、图像界面,再到自然语言交互,AIGC代表了人机交互方式在智能化和自动化方面的发展。它使得人们能够更自然地与计算机进行交互,以更高效、直观的方式获取所需的内容和服务。 AIGC技术的发展历程 图来源中国信通院 中国信通院认为,AIGC 的发展主要经历了三个重要阶段:早期萌芽阶段(1950s-1990s)-jvzquC41fg|fnxugt0gmk‚zp0eun1jwvkerf1:75:5:7
2.你真的明白人机交互与智能吗?清华AITime针对人机交互研究对AI的贡献,他指出,首先必须承认AI对人机交互研究的贡献。从大趋势上讲,机器学习中大量的人工标注数据就是人机交互的过程。进一步讲,AI的一个挑战在于可解释AI,最终担心的是可不可被信任,解释的原因是希望能够放心地使用。 某种意义上讲也许解决AI可信任的问题,在于创造一种方式,让人和AI的系统在jvzquC41yy}/lrfpuj{/exr1r1>g;B62f;6269
3.AICoding大佬聊透了:产品智能重要还是用户体验重要?答案让人意外未来发展方向是减少人机交互,人充当看管者角色。 即便在未来实现AGI,所有领域依然需要专家。 非程序员可以用AI做软件,但很难做出与专业程序员相提并论的复杂系统。 AI时代效果为王,产品好用比免费更重要。 能理解用户真实需求背后的意图,比界面友好更重要。 jvzquC41dnuh0lxfp0tfv8r2a8:47>7:71gsvrhng1jfvjnnu1762<>4899
4.A01001人机交互方式ai时代主要的人机交互方式为A01 - 001、人机交互方式 本文介绍了两种主要的人机交互方式:图形化界面和命令行窗口。图形化界面通过鼠标操作提供直观的用户体验,而命令行窗口则依赖于键盘输入命令进行操作。文章还提供了Windows命令行窗口的快捷方式(Win+R,cmd),并讨论了软件开发工具的重要性。jvzquC41dnuh0lxfp0tfv8|gkzooa=76866668ftvkimg8igvcomu8>559928A
5.魅族传统“智能手机”退场,AllinAI将何去何从?魅族宣布停止传统“智能手机”新项目,并不意味着魅族不做智能手机了,但也不局限于做智能手机。AI赋能,为智能手机迎来第三次变革,从功能机到智能手机,再到AI手机时代的迭代。 沈子瑜在演讲中提到,“在AI时代,我们有足够的能力重构硬件的产品形态。为什么一定要传统智能手机?为什么要有屏幕?我们应该以全新的交互方式为jvzquC41yy}/gny/ejooc7hqo1tfy|4424:14:>54;