2024年AI 3D生成又迈出了很大的一步。
12月初，谷歌DeepMind发布了新一代世界模型Genie 2，可以「一张图生成1分钟游戏3D世界」，引发网友惊呼。而在谷歌发布Genie 2的前两天，AI学者、斯坦福大学教授李飞飞公布了她的第一个空间智能创业项目：「仅凭借1张图，就能生成一个3D游戏世界的AI系统」。
几乎同一时间，双方发布的AI模型系统都瞄准了3D世界。前不久，库克曾在一次采访中表示，“对于Vision Pro来说，最大考验是生态系统。”但这又不仅仅是Vision Pro面临的难关，可以说这么多年整个XR生态的发展逻辑都是内容要比硬件难推，算是XR行业的老问题。
如今看来，生成式AI技术的大成熟已推动AI 3D内容创作进入了新的时代。
谷歌与李飞飞的又一次推进，看见空间智能
2022年，谷歌发布AI 3D模型DreamFusion，突破了对传统3D建模的限制，能够通过简单的文本描述自动生成高质量的3D模型。这一创新使得3D建模变得更加智能化、简便化。同时DreamFusion的到来，也为游戏、VR、电影制作等行业带来了很大的创作提升。
从2023年开始，AI 3D开始受到业内广泛关注，当年出现的新模型就有近20个，包括ProlificDreamer与One-2-3-45++等，很多团队已经实现能够从一句话或者一张图生成高质量的三维模型。
虽然AI 3D模型的发展越来越热闹，但也有其不足的地方，主要是大多数AI 3D生成的方法都是借助「2D扩散模型生成3D模型」的路径。这种路径一大问题就是耗时，ProlificDreamer作者就曾在知乎上表示这些方法目前的主要局限之一便是生成时间太慢。此外，还需要突破两个关键的技术点，即：
首先Loss的计算，利用预训练的2D文生图模型，计算出三维表征渲染出的2D图像和文本之间的Loss，间接判断渲染出的图像是否符合2D扩散模型的先验知识。其次通过NeRF、DMTet等可微分、可渲染的三维表征渲染2D图像，然后用2D文生图模型监督蒸馏，将Loss得到的梯度回传到这些表征当中，从而实现几何形状和颜色的优化，得到可用的3D模型。
这一套逻辑走下来，虽然相较于传统的模式已经可以便捷地生成高质量的3D模型，但距离普通用户创作还是很远。但今年李飞飞与谷歌发布新的模型，直指UGC内容创作平台，暗隐了新一轮的内容创作革命。
12月3日，李飞飞创业公司World Labs展示了单图生成3D世界的AI系统。李飞飞表示，“无论怎样理论化这个想法，都很难用语言描述一张照片或一句话生成3D场景的互动体验。”
除了可以实现单图探索3D世界之外，还可以改变其中物体颜色，动态调整背景光影，在场景中插入其他对象。你能够像玩游戏那样，自由地移动相机来探索这个3D世界，浅景深、希区柯克变焦等操作均可行。
英伟达高级研究科学家、李飞飞高徒Jim Fan总结道，“GenAI正在创造越来越高维度的人类体验快照；Stable Diffusion是2D快照；Sora是2D+时间维度的快照；而World Labs是3D、完全沉浸式的快照。”
而就在业内都还沉浸在World Labs所展示的3D世界系统时，谷歌DeepMind又相继发布了大型基础世界模型Genie 2，再次点燃了人们的想象空间。
Genie 2可根据一张图生成可供人类或AI智能体游玩的无限3D世界。也就是说，Genie 2不仅能创造出一个逼真的3D游戏场景，用户还能在这个场景里进行互动。此外，Genie 2还支持3D空间中的重力、光线、反射、烟雾等物理模拟以及特殊效果模拟和生成。
从静态3D模型生成到可交互的动态3D内容生成，3D生成的发展路径终究还是指向了UGC内容平台，也就是说未来必然是每个人都可以零门槛、零成本实时创作3D体验。
众所周知，3D内容创作一直都需要专业的人员与技术完成，是唯一一个没有UGC内容平台的信息载体，但3D内容必然会迎来爆发的那一天，而这一步也终离不开UGC内容平台。从World Labs与Genie 2中不难看出，无论是李飞飞的工作团队还是谷歌的大模型，科技巨头都在推动这一步的到来。
从AI中找商机，XR内容创作也该迎来春天了
2024年，XR内容创作大体依然很苦。
据VR陀螺了解，目前能赚钱的XR内容团队大致分为三种：一是，专门负责海外市场，有一定的专业度，同时海外相比国内市场也较为理想；二是，做线下内容，类似于体验店/大空间，尤其今年VR大空间爆发，不少内容团队开始分力专做这一块；三是，负责一些小的项目，或者专门为一些大厂提供内容搭建辅助。
但随着AI 3D创作的到来，一些特别的情况已经出现。
不少创作者开始从AI中找商机，例如10月份UGC内容平台Roblox玩家RG使用Tripo生成的一顶3D粉色贝雷帽，在1小时内吸引了超3000名玩家涌入Tripo。RG也靠售卖游戏配饰赚到了超过1亿Robux（Roblox内的代币，折合约35万美元，近250万元人民币）。
与此同时，在TikTok、Roblox等内容平台上，也已经有创作者通过AI 3D内容赚到了第一桶金。更为重要的是，很多创作者在社交媒体平台上发布的3D模型视频，完全能够导入到游戏的画面中使用。
AI技术的成熟为创作者提供了全新的商业思路，除了公开平台上AI 3D创作的盈利模式之外，电商领域对3D内容的需求也在增强。例如，亚马逊推出的Virtual Try-On的3D功能，支持商家上传自己物品的3D模型，以提高商品的吸引力。而像Vision Pro上淘宝、京东等网购平台，虽然体验让人惊艳，但3D内容还是太少。为了能够丰富3D内容生态，11月份淘宝还推出了全球首场3D空间交互直播。
不难看出，业内已经意识到随着空间计算的逐步发展，行业对3D资产的需求已经变得越来越高。亚马逊官方也表示，“超过9成的消费者认为3D商品会影响自己的购物决策，因此电商领域对3D生成内容的应用，将会成为一个可行的商业化方向”。
面向一个既定的未来，3D内容创作存在着无限的想象空间。不仅新型企业可以从中分得一杯羹，一些小的XR内容团队甚至个人创作者也终迎来另一风起。
进一步看，在AI技术的发展下，3D创作的市场也正在被缓缓打开。Meta在宣布与卡梅隆合作打造「世界级3D娱乐体验」后也表示，“使用虚拟和混合现实头显的人数比以往任何时候都多，为沉浸式讲故事开启了令人兴奋的新可能性。通过与Lightstorm Vision的合作，我们致力于推动媒体发展，并通过使用包括AI在内的先进工具，提升内容创作者制作高质量立体内容的能力。”
AI正在助力3D内容产业的发展向更深的领域迈进。对于内容创作来说，将会迎来很大的机遇，在新行业与新技术之上腾飞。也正如马云回归后的首次演讲所言，“20年前，互联网刚刚到来的时候，我们这一代人很幸运，抓住了互联网时代的机遇。从今天来看，未来20年的AI时代能带来的改变会超出所有人的想象，因为AI会是一个更加伟大的时代。”
写在最后
从技术发展路径来看，AI已经在3D内容生成领域有了重大的进步，并且已被业内视为是占据绝对重要性的技术。随着AI技术不断发展，AI 3D的成熟也将会助推应用层面不断出现新的现象，而AR/MR的普及也将会带动3D内容不断丰富。
乘着技术的风，加码布局的头部企业动作也越来越频繁，除了卡梅隆与Meta的合作之外；迪士尼也组建了全新的技术办公室，以探索AI与混合现实的应用；佳能发布了新款镜头，专为3D VR视频拍摄设计，可用于Meta Quest 3等头戴设备以及Vision Pro空间视频的拍摄；前段时间影像技术公司Blackmagic Design还推出了专为拍摄沉浸式视频而设计的商业摄像机URSA Cine Immersive。
毫无疑问，3D内容生态已是明确的趋势，一些头部企业的布局也都指向了这点。随着行业发展逐步渗透，也映射了未来内容生态的变革和新方向。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.