《HyperScape》体验，高斯泼溅助力VR社交向熟悉场景迈进
文/VR陀螺 万里
近期，Meta Quest悄然上新了一个看似不起眼，但我认为却非常重要的功能：
头显3D扫描应用《Hyperscape Capture》现已支持共享，即您可以扫描真实的家庭数字环境上传，并邀请多名好友在这一个虚拟空间中玩耍。
虽说这一功能只是测试版，但可以预见的是它将会对后续的VR市场带来重要影响。
01
Hyperscape究竟能解决元宇宙社交什么问题？
2021年被誉为元宇宙元年，现如今短短数年过去，“元宇宙”一词莫名让人有种落了一层灰的感觉。当然，这并不能说明行业发展已经停滞不前，只是激动人心的突破确实不算多。
以元宇宙社交举例，诚然市面上有很多类似应用，比如《Horizon Worlds》、《VRChat》、《Roblox》等，玩家可以在3D虚拟空间中闲聊，玩多人游戏。只不过，为了适配头显单薄的算力，游戏建模看起来会相对粗糙。
另外，元宇宙社交相较于常规线上社交，会多出一个场景维度。如果以下图划分，目前元宇宙社交平台多处于第三象限，即陌生社交，并且里面大部分也是初次踏足的陌生场景，这就导致元宇宙社交会给人一种冰冷以及疏离感。
前些年较为盛行的元宇宙办公也同样如此，平台模拟线下场景开发了一些3D样板间工位，用户可以在里面开会以及远程工作，它的本意其实是为了重构物理空间以拉近彼此距离，但是它所提供的陌生环境却反倒成为了一种1阻隔，用户上手时需要不菲的适应成本，并且办公效率也没有明显提升。
图源：VR陀螺
Hyperscape的出现，又将带来什么？
Hyperscape最早发布于2024年的Meta Connect，这是一个基于高斯喷溅（Gaussian Splatting）的3D解决方案，Meta为之上线了两款APP，《Hyperscape Capture》以及《Hyperscape Preview》，前者是一个3D扫描生成工具，支持Quest 3/3S设备；后者是一个3D场景共享平台，目前里面收录了数个由Meta团队精心制作的高质量场景。
这段时间，Meta再次更新了Hyperscape的新玩法。在这之前，《Hyperscape Capture》只支持单机模式，扫描场景不支持共享，只能由用户本人查看。现如今，Meta为Hyperscape新增了共享功能。如果更进一步，后续Hyperscape的扫图内容或许能够直接上传到《Horizon Worlds》平台当中。
Hyperscape的出现，其实一举解决了“VR社交”中两大困扰。首先，虚拟世界的场景不再是“方块脸”，真实度有望得到飞跃性提升。其次，这预示着VR社交全面向“熟悉场景”迈进，这将会极大扩展社交应用版图。
02
《Hyperscape Capture》体验：高效率结合高保真度
近期，笔者对《Hyperscape Capture》APP进行了上手体验，并对公司的一个会议室进行了扫描，整个过程大致分为三个步骤：
1、粗略扫描。沿着房间边缘缓慢走动扫描环境，这时候MR画面会叠加三角形面片用以表示当前已经扫过的区域；
2、精细扫描。需要您弯下腰查看桌子底部、遮挡物背面等细节，前面已经叠加的三角形面片会随着您的精细扫描而消失，证明该区域已经处理完毕。
3、天花板扫描，这个步骤需要单独扫描房间的天花板。
图源：Meta
公司的会议室约15平米，整个扫描时长约8分钟。扫描完成后，设备会将数据上传到云端以完成最终的建模。值得一提的是，整个扫描体验对我来说是一次非常新奇的体验，期间需要不断抬头或者低头弯腰，就像是在房间内寻找一枚丢失的硬币一般。
云端建模完成后，用户则可以基于APP观看到整个扫描的画面，如下图所示，整个扫描画面真实度已经具有很高水平，特别考虑到这是基于头显所看到的画面，头显屏幕以及VST分辨率本来就不高，因而很多时候就像是真的戴着头显在看透视画面一般。
注：这并非照片，而是HyperScape实景扫描场景截图，图源：VR陀螺
有意思的是，为了避免潜在的风险，用户在体验扫描场景时APP会弹出提示，“在体验过程中，请不要坐在或靠着虚拟物体上。”
可能是笔者扫描时间不够，如果细看的话，整个3D场景其实还存在一些“出戏”的地方，比如欠扫描的地方会存在雾状斑点、一些角落、玻璃等光影与真实存在差异，但总体来看，已经具有很高的完成度。
值得注意的是，Meta表示世界共享功能“正在逐步推送”，笔者撰稿时尚未能顺利体验。相关介绍指出，Meta最新的Hyperscape技术会结合使用Meta Horizon引擎，并将渲染从云端转移到设备端，这能提升加载速度，不过，在保真度方面相较于云端方案可能会有折扣。
此外，扫描世界可以通过链接的方式分享给好友，支持手机、头显等设备查看。
03
高斯喷溅革新元宇宙体验
近些年行业在高保真3D生成方面取得了令人瞩目的成绩，比如2022年扎克伯格曾在社交平台分享了一张Horizon Worlds自拍照，当时因为糟糕的建模效果遭到了群嘲。然而短短几年过后，随着HyperScape等应用的出现，虚拟世界的沉浸感以及保真度有了翻天覆地的提升。在这背后，高斯泼溅技术起到了重要支撑作用。
扎克伯格的Horizon Worlds自拍照，图源：网络
先来简单介绍高斯喷溅，相关资料指出，这是一种三维场景表示与渲染技术。它使用大量三维高斯分布来描述场景的几何与外观，再将这些高斯投影到屏幕空间进行叠加渲染，从而生成图像。与传统三角网格不同，高斯喷溅并不依赖明确的表面结构，而是一种连续、体积化的点表示。
在这之前，3D重建主要包含了摄影测量、NeRF等方案，但它们在使用上各自有一些局限性，如摄影测量面对闪亮表面时处理表现不佳，而NeRF比较吃算力，渲染较慢。相较之下，高斯泼溅技术综合易用性以及效率方面具有不少优势，比如它可以基于多视角照片、视频输入，不需要手工建模，画质足够真实并且可以实现实时渲染，足够胜任目前展陈战略，VR社交等场景。
除了《HyperScape Capture》外，目前市面上还有不少以高斯泼溅技术为主要支撑的VR应用，比如《Into the Scaniverse》，这是一款由Niantic开发的3D扫描+共享平台，Quest 3用户可以基于该APP在上面浏览由全球用户扫描创建的超过5万个作品。只不过，3D空间只支持单人浏览，类似的应用还有《Gracia》、《知天下》等。
由于Meta在这一领域投入了很大的建设力度，3D真实场景扫描+多人在线社交这一玩法，最终可能会在《Horizon Worlds》平台率先呈现，而平台也会得益于该功能的推出大幅度提升用户活跃度。
对于笔者来说，我提前设想了一些个人比较喜欢的功能玩法，比如可以将校园环境扫描上传，校友聚会时可在上面可以重温过往的学习场景；对于一些名人故居或者一些历史景点，比如九龙城寨，扫描建模能够最大程度保留它原有的风貌，对于后人来说具有不小的研究价值。
除了社交外，高斯泼溅还在很多领域逐步应用落地，比如Vision Pro上面的Persona，它在VisionOS 26以及更新系统中使用了高斯泼溅，很多体验过的人均表示它相较于老版本具有了惊人的增强，面部特征非常精细。另外，Vision Pro 2D照片转3D功能也使用了该技术，它能让照片具有更加真实的景深效果。
Vision Pro的Persona
其次，对于近些年大火的VR大空间，不少项目也结合使用了高斯泼溅技术：
案例1：今年7月上线的“良渚VR大空间”，项目“采用全球领先的3D高斯重建、动态渲染、沉浸式交互、多人同步等技术，为访客提供可感知、可互动、可探索的全感官文化盛宴。”
案例2：数字中大·时空穿梭。资料指出，项目“运用高精度空间点云与高斯扫描技术，1:1数字化还原怀士堂、孙中山铜像、惺亭、北门牌坊等中轴线标志性景观及进士牌坊、校史馆等建筑。”
良渚VR大空间，图源：网络
最后，高斯喷溅技术还可以用于机器人场景仿真，其域创新 CEO 赵开勇博士曾提到：如果完全依赖手工建模，往往缺乏真实采样数据、光照和深度信息；而基于高斯泼溅的方式，能够方便地生成高质量深度、真实光照及激光扫描效果。据悉，目前其域创新已经与英伟达平台对接，扫描内容可以上传NVIDIA Isaac平台做机器人模拟。
如果再延伸来看，基于高斯泼溅技术能快速构建大规模、高质量的真实空间数据，而它们将会成为世界模型重要底层数据。
结语
2023年随着一篇名为《3D Gaussian Splatting for Real-Time Radiance Field Rendering》的论文发布，高斯泼溅技术开始迎来大爆发。
采集端，市场上出现了其域创新手持扫描仪灵视P1、手机APP《KIRI Engine》等产品，应用端，《HyperScape》等应用将有望进一步革新VR社交的体验，并且极大丰富虚拟世界的内容生态。
近段时间以来，有消息称Meta计划砍掉元宇宙部门30%预算，这一消息被不少人解读为元宇宙正在走下坡路。不过，基于高斯泼溅技术的迅猛发展态势，或许这项技术有望成为行业的重要发展变量之一。
