看日报是个好习惯。
VR初创公司Condense Reality获超过87.5万欧元种子融资
VR初创公司Condense Reality目前开发出了一种技术，可改变观众观看现场娱乐和体育节目的方式，已筹集了超过87.5万欧元的种子融资。据悉，其中包括来自英国的种子轮投资者SFC Capital约24万欧元，以及RLC Ventures和一些天使投资人支持。有了这笔融资，Condense Reality 计划在未来12个月内提高其研发能力并将其技术商业化。
Condense Reality成立于2019年，开发了用于在直播电视节目和直播流媒体的全息图式3D“立体视频”（即一个三维图像，可以让多个人从不同角度观看）。这个技术有望在桌面上立体转播娱乐和体育节目。
Condense Reality最初专注于拳击比赛节目，随后还将扩展至其他体育运动 。该公司表示，BT Sport是其第一个客户。他们曾经和布里斯托大学在5G Edge XR试验中合作，展示了5G通过VR/AR提供更身临其境的体育直播潜力。
到目前为止，体三维视频（volumetric video）的制作需要一个具有绿色屏幕的固定工作室和数百个经过精确校准的摄像头，并且以流式传输来处理数分钟的内容还需要花费几天的时间。为了解决这个痛点，Condense Reality开发了新一代解决方案，使用更少的摄像头，让广播公司和内容开发者更快速地进行实时捕获和流式传输。
Condense Reality的模块化技术将专有软件与现成的硬件相结合。其CR Capture平台使用了计算机视觉和深度学习功能，可在几秒钟内准确地重建场景的内容，而CR Stream为广播公司提供了更方便的内容传输方案，即他们可以通过自有的AR/VR设备（包括Oculus、Vive、Microsoft Hololens和Magic Leap ）将内容传输给观看者。跨平台的 CR Playback应用程序能够让观看者通过直观的3D UI来获得更好的体验。
Condense Reality首席执行官Nick Fellingham表示：“我们的技术旨在通过让广播公司将现场活动录制成容体积视频，并立即传输给观众，从而搭建真实世界和虚拟世界的桥梁。我们最初的重点是录制体育节目，尤其是拳击，因此与BT Sport合作是一个巨大的机会。在这个许多体育赛事都无法去现场的时候，没有什么比在家舒适地观看比赛直播更重要的事了。”
“我们看到了容体积视频的光明前景，借助VR/AR技术为消费者提供了必要的硬件，可以更大限度地享受容体积视频内容。该硬件将继续以惊人的速度发展，而苹果在2022年推出的AR头显使用率也将呈爆发式增长。”
以色列3D成像半导体公司Inuitive获无锡银牛微电子1.06亿美元E轮融资
VR陀螺1月24日消息，有匿名人士向外媒报告称，以色列3D成像半导体公司Inuitive已经获得国内企业银牛微电子（无锡）有限责任公司 1.06亿美元的巨额投资。
Inuitive是3D成像领域知名的无晶圆厂半导体公司。该公司开发了可优化消费者体验并增强机器人、无人机、AR/VR产品的竞争优势的技术。该公司的产品结合了算法、专用集成电路 （ASIC）和系统解决方案，以实现AI设备更贴近人类的功能。
Inuitive成立于2012年，由该公司的CEO Shlomo Gadot以及CTO Dor Zepeniuk创立。目前，Inuitive共有65名员工，其中大部分在以色列中部的拉阿纳纳市。该公司在中国深圳设有办事处；而随着新的投资加入，该办事处将迁至上海。
Inuitive CEO Shlomo Gadot
Inuitive的CEO Shlomo Gadot是一位资深企业家。此前，他还创立了Modem Art公司，于2005年以1.45亿美元的价格被Agere system收购。除了Modem Ast，他还是Percello的首席执行官，该公司于2010年以1亿美元的价格被Broadcom收购。
截止目前，Inuitive已经完成了四轮融资。三年前与日本软银集团达成数百万美元的协议。这家总部位于东京的电信巨头购买了Inuitive大量的六毫米芯片，用于机器人和物联网（物联网）。
《Bigscreen VR》将与《头号玩家》系列作者Ernest Cline举行首次VR访谈
通过此次VR实时采访，可以了解更多有关《头号玩家》备受期待的续集信息。
随着《头号玩家2》（2011年科幻小说《头号玩家》续集）即将发布，可提供影院级观影体验的VR社交平台《Bigscreen VR》11月20日宣布，将与《头号玩家》系列作者Ernest Cline举行首次VR访谈。
此次访谈将作为12月5日Cline虚拟售书活动的部分于下午5点（美国东部时间晚上8点）进行。现场问答环节，Bigscreen CEO同时也是创始人 Darshan Shankar将与这位畅销书作者在VR场景中围绕续集的细节进行讨论。
Shankar说：“在2011年真正的虚拟现实头显出现之前，《头号玩家》启发了我关于VR可能性的想象。人们现在正在将《Bigscreen VR》用作虚拟教育的教室、电影院，甚至是异地虚拟约会。这不正是Ernie Cline十年前的预言嘛！我已经等不及想要阅读《头号玩家2》一窥未来景象。”
Cline表示：“《Bigscreen VR》是我目前最喜欢的VR应用程序，也是我去年使用最多的应用程序。我会和《Bigscreen VR》中的朋友每周至少聚会一次，一起看电影、玩游戏等等。非常感谢Darshan和他的团队将我的一些想象力变为了现实，而且从时间上比我预想的要早几十年。我很荣幸能受到他们的邀请来这个平台讨论《头号玩家2》”
英特尔确认已关闭其AR / VR影视拍摄工作室Intel Studios
据外媒报道，英特尔已经取消了一个曾经雄心勃勃的AR / VR项目。上个月，该公司悄悄关闭了其位于洛杉矶，占地10000平方英尺的体三维工作室Intel Studios。该设施被誉为世界最大的体三维工作室，曾用于录制Reggie Watts和K-pop偶像团队NCT 127等明星的音乐视频。
英特尔在发送给外媒Protocol的声明中证实了此事：“我们为Intel Studios在业界所产生的影响及其在发展沉浸式娱乐类别中所扮演的角色感到自豪。尽管我们因商业条件而关闭了Intel Studios，但我们仍期待着向未来娱乐业发展的方向前进。”
这家芯片制造商于2018年初开设了Intel Studios。在该工作室的中心是一个巨大的圆顶形绿屏平台，上面装有100多个8K摄像机，能够从各个角度记录动作。所得的视觉数据可用于创建AR体验的3D全息图，以及沉浸式3D VR视频。
英特尔并不是唯一一家建立这类工作室的公司，像8i这样的初创公司和像微软这样的大公司也在投资3D立体捕捉。尽管大多数公司都对捕获阶段经过了优化，但是仍然一次只能记录一个人，但Intel Studios提供了如好莱坞工作室一般的规模，可以同时捕获大量表演。在2018年，英特尔与派拉蒙（Paramount）合作录制了音乐剧《油脂（Grease）》的立体表演，其中有20位舞者。
英特尔投资Intel Studios的部分动机是为需要大量计算资源的媒介提供证明，这最终将使英特尔的核心业务受益。Intel Studios容纳了许多英特尔服务器，以通过5英里长的光纤电缆处理从100多台摄像机中传输的数据。
除了自用外，Intel Studios还可以通过将其录制空间出租给好莱坞其他团队来完成可持续发展。然而今年受疫情影响，这变得更具挑战性，因为大多数制片厂都在疫情造成的停工和电影院关闭的情况下苦苦挣扎，而雄心勃勃的AR/VR项目在这种情况下更是只剩下很少的资源。
英特尔在声明中提出了着重于沉浸式体育视频捕捉的计划：“我们相信体育内容的未来将由体三维技术驱动，这将使我们能够在各个观看平台上获得更为沉浸的体验。”
VR体感鞋Cybershoes宣布首日即达成Kickstarter众筹目标，已获21万欧元赞助
VR体感鞋制造商Cybershoes今天宣布，其搭配Oculus Quest使用的无线版本产品的Kickstarter活动在第一天就已超过其众筹目标。在本文发布时，Cybershoes已获得的众筹总额为214263欧元（约合人民币1672601元），大大超过了其30000欧元的目标。
该公司表示，现在正朝着下一个扩展目标前进，即开发Cybershoes应用程序以模仿Quest的触摸控制器，并一步到位使玩家能够访问大量游戏。
Cybershoes首席执行官Michael Bieglmayer表示：“通过游戏来提高健身水平和减少晕动症一直是我们的主要动力，到目前为止，众筹活动的成功确实使我们迈进了一大步。我们期待能够为世界各地的人们提供更多体感鞋。”
Cybershoes先前成功完成了其产品原始版本的Kickstarter（2018）和Indiegogo（2019）活动，这两个众筹活动的产品可以与PC绑定的VR系统配合使用。据该公司表示，它在之后继续向成千上万的VR游戏玩家发售产品，并于今年早些时候荣获CES创新奖。
用于Oculus Quest的Cybershoes通过CyQuest蓝牙接收器进行无线连接，并将自然、真实的实际运动转化为游戏中的运动，从而允许VR游戏玩家在使用Quest设备的同时行走、奔跑和跳跃。原始Cybershoes的所有者还可以通过获取CyQuest模块升级Quest来简单地使用它们。Cybershoes补充说，某些游戏（例如《行尸走肉：圣徒和罪人》）已经过测试，可以与Cybershoes一起使用。有关旧版兼容性的更多信息，可以参考Cybershoe 的Kickstarter系列页面。
据公司透露，Cybershoes可以让使用者进行自然无线的脚部运动，并且能够将玩家的自然脚部运动转化为游戏中的运动，从而解决了晕动症问题，同时增强了沉浸感和活动能力。这款设备设置简便，用户只需系上Cybershoes，启动头显并选择游戏中Cybershoes的运动选项即可。通过本地集成游戏，玩家可以体验Cybershoes与Vertigo Games合作的《亚利桑那阳光》等游戏。
Cybershoes还支持SteamVR，尽管Quest兼容性需要无线CyQuest蓝牙模块，但Cybershoes也可以与任何支持触摸板、运动控制器和跑步机的SteamVR应用程序（通过Oculus Link）一起使用。Cybershoes还具有定向跟踪功能，借助设备的运动跟踪器，玩家可以在行走，俯卧或弯腰捡起物体时全面观察周围的环境。据公司称，Cybershoes还可以用于培训、身体康复计划，虚拟预览和演练等。
《Waltz of the Wizard》工作室暂停PSVR游戏开发，并暗示索尼下代“PSP VR"计划
据了解，VR游戏《Waltz of the Wizard》背后的VR开发工作室Aldin Dynamics表示，在索尼明确PS5未来的VR计划前，他们会暂停PSVR游戏的开发。
虽然索尼已采用向后兼容的方式实现了在PS5上体验PS4游戏，但该公司始终对是否计划推出新的VR硬件保持沉默。此举对像Aldin Dynamics这样的游戏开发工作室来讲，会导致未来的确定性，让其难以将有限的时间与开发资源投入到该平台。
该工作室从事VR开发已久，自2016年《Waltz of the Wizard》发布以来，一直将其作为寻求创意的固定更新测试游戏，比如有关VR运动的新想法。
尽管该游戏已在所有主要VR平台上线，但该工作室的首席执行官Hrafn Thorisson 23日宣布他们正在暂停PSVR版游戏的开发，该暂停会持续到索尼阐述有关PS5的VR计划。
“索尼显然并没有让PS5抛弃第一代PSVR游戏，但问题是他们下一步将做什么。我认为他们应该做PSP VR（可以选择连接PS5；PSP指索尼之前的PSP游戏掌机）。我们正在暂缓更新PS上的VR产品（包括即将到来的《Waltz of the Wizard》一项重要扩展游戏《Natural Magic》）直至索尼表明他们的下一步计划。”
Thorisson提到的“ PSP VR”表明该公司下一代VR头显应该像Oculus Quest一样独立使用，并可以选择插入PS5以获得更高的性能。
Thorisson向外媒详细阐述了该工作室的决定，称PSVR已经老化的硬件已经跟不上其他主要VR平台的发展步调。
“我认为索尼在放弃对游戏手柄的要求后，在90年代的跟踪技术和控制器方面做得非常出色。索尼在许多方面做得很好，但其平台在发布后很快过时了。”他说：“ Oculus和SteamVR平台为我们带来了VR应有的体验，而这些平台最新版本的硬件（尤其是Oculus Quest）还在进一步降低VR使用难度，增强其可用性，并一步步提高VR用户留存率。”
Thorisson还表示，追踪功能的限制让下一代VR内容的开发变得困难。而且由于缺乏索尼对PS5 VR计划的引导，要想使内容与功能与更先进的VR平台保持同步，所需进行的额外工作会是一项冒险的投资。截至目前，即将推出的《Waltz of the Wizard》扩展游戏《Natural Magic》将不会朝PSVR版本发展，至少在索尼阐明其PS5未来VR发展路线图前不会。
“索尼需要对其平台进行大量升级，我个人希望他们保持沉默的原因是其正在努力开发PSPVR或是在对PSVR 2.0进行大规模改进。”
VR剑斗动作游戏《 Sargs of Gargantua》将于12月8日登陆PS VR
VR剑斗动作游戏《 Sargs of Gargantua》（2019）由日本VR游戏公司Thirdverse制作，并已在SteamVR与Oculus Quest头显推出，现在这款游戏有了PSVR版。
经历过多次延迟发布后， 这款rogue-lite风格的游戏将于2020年12月8日在PSVR上发布，提供英语、日语两个版本，售价30美元。
Thirdverse表示该游戏并不支持PlayStation VR与其他包括SteamVR头显（Steam、Viveport）、Oculus Rift、Oculus Quest在内的平台间进行联机。
这款游戏于2019年6月在PC VR上首次推出，提供单人和在线四人合作两种模式，让玩家对抗敌人保护居住在游戏最底层的强大领主“Gargantua”。
玩家在战斗中能进行武器和技能的升级，比如双手剑、斧头、狼牙棒、飞旋镖、盾牌等。查看下面的预告片可以了解相关物理剑术动作：
Google推出《曼达洛人 AR体验》应用，粉丝可与真人大小的角色互动
VR陀螺11月24日消息，趁着Disney+ 剧集《曼达洛人》第二季热播的热度，Google 与卢卡斯影业合作，带来了该剧的 AR 体验项目。你可以通过这款名为 《曼达洛人 AR体验》（The Mandalorian AR Experience） 的 AR 应用让 Mando 和 “Yoda 宝宝”（The Child）来到现实世界，与他们互动、合影。
在该应用中，呈现出的虚拟英雄形象和《曼达洛人》真人大小相同。其玩法多样，用户可以通过各种互动来解锁其他效果，也可以记录3D场景与朋友分享。
不过从宣传片看来，仅15秒的内容展现了更酷炫的效果：Mando像全息投影一样出现在手机屏幕上方。然而这只是宣传片的营销效果，用户下载《曼达洛人 AR体验》app后，通过手机屏幕可以看到，Mando、Din Djarin和the Child在你视线范围的任何角落。
《曼达洛人 AR体验》使用了Google的开发人员平台ARCore来构建增强现实体验，从而创建有深度的环境互动。借助新的ARCore深度API，该应用实现了虚拟对象的遮挡功能，使3D场景与真实世界更加自然地融合。
Google团队表示，为了创造更真实体验，Google、迪斯尼和卢卡斯电影公司共同努力，设想出面向5G设备的下一代增强现实应用。但目前，该AR体验仅支持部分5G 安卓平台，如 Pixel 4a 5G、Pixel 5、一加 8 Pro、OPPO Reno 3、三星 Galaxy S20+、小米 10 Pro 等机型。拥有以上机型的用户可以在Play Store上免费下载。
如果这些用户不能确定已经更新了Google Play Services for AR，还可以在谷歌开发者网站上提供的列表中查看你的Android手机是否支持。该公司还指出，未来可能还会支持其他手机。
2020Google开发者大会：ARCore助力美图秀秀、滴滴和有道提高产品性能
VR陀螺11月18日消息，Google 开发者大会 (Google Developer Summit) 是谷歌面向开发者展示最新产品和平台的年度盛会。2020 Google 开发者大会于 11 月 16 日 至 21 日举行，这是谷歌首次以全线上大会的形式与中国开发者相聚。本次大会以“代码不止”为主题，介绍了相关产品更新以及一系列面向本地开发者的技术支持内容，旨在赋能开发者高效创新、持续不断地创造愉悦的产品体验。
其中，11月16日，谷歌软件工程总监王启文（Leon Wang）发表了关于“ARCore为用户创造有效的AR体验”的主题演讲。
王启文Leon是 Google AR 团队的软件工程总监，主管ARCore 的机器感知算法项目，如运动跟踪和深度感知等技术的开发。加入 Google 之前，他在 Microsoft, Facebook 和 Pinterest 先后担任过工程经理。Leon拥有麻省理工学院计算机科学的学士和硕士学位。
首先，王启文强调了AR作为一种视觉沉浸式媒介，能够吸引人们的注意力，是一种体验信息的新方式，并最终推动用户的行动。而谷歌发布于2018年的ARCore是AR开发者平台，提供了简单而强大的工具，为Android和iOS用户创造有效的AR体验。目前已被应用在7亿台设备和成千上万款app上，并且已获得一些更新。
其中，王启文介绍了包括美图、滴滴、有道少儿词典的中国开发者如何使用ARCore提高产品的性能和体验。
美图公司利用ARCore的增强面孔API（Augmented Faces API）构建了100多个自拍滤镜，就是现在我们在BeautyPlus上可以体验到的AR特效，用户可以拍摄照片和视频与朋友分享。
增强面孔API（Augmented Faces API）从2D图像中生成3D网格，可追踪嘴部动作、眨眼、点头和一些复杂的细节。
滴滴的ARCore导航功能帮助乘客在火车站、商场和机场等大型公共区域找到司机。滴滴地图中加入了AR路标，15%的用户使用AR来引导他们找到订单司机，80%的用户给出好评。
有道少儿词典应用使用AR来帮助孩子们以一种有趣和吸引人的方式学习新单词。该应用将“三角龙Triceratops ”等单词与其3D模型在AR中配对，父母可以把AR画面录制或拍照，方便日后成为孩子们可参考的学习材料。
另外，ARCore的新增功能如下：
迅速放置API（Instant Placement API）
一般来说，用户在空间中放置过ar对象时，需要先用手机扫描周围的环境，完成3D表面检测。但这个过程将耗费一些时间和精力。实际上，在大多数情况下，我们不需要知道AR对象确切的3D位置也可以正确地呈现它。
借助迅速放置API和几行代码，开发人员可让用户将AR对象锚定到2D图像中，而不需要确切知道AR对象具体的3D位置。如果需要更精确的比例，可以针对3D位置进行三角测量。
景深应用API（Depth API）
景深API可以从单个RGB相机生成地图。原理是通过不同角度拍摄多张图像，并在移动手机时进行比较，以估计到每个像素的距离。尽管只有一个RGB相机，添加了景深传感器（如飞行时间传感器），会让景深地图效果更好。
景深可以通过多种方式增强AR真实感，“遮挡”是其中一种景深应用，即隐藏数字物体在现实世界中被遮挡的部分，从而使它们看上去像是在现实场景中真实存在。
另一种是“表面交互”，即在设备中的世界里，添加3D层面的计算，可以实现与现实物品表面的交互，比如创意AR对象，并在其表面设计反弹和飞溅的动作。此功能可以用于开发新的交互式游戏机制，使玩家能够躲在真实物体的后面。Snapchat的Dancing Hotdog和Undersea World Lens效果都使用了景深。
Persistent Cloud Anchors API
Cloud Anchors API可用于与多个用户共享ar对象。在相同物理空间中的不同位置同时查看这些对象并与之交互，AR内容也因此可使用更长时间。
这相当于一个“保存按钮”，人们可以基于相同的AR体验进行创作并进行反复修改。比如，Sybo和iDreamSky的Mark应用采用了该功能，人们可以在现实世界中与朋友一起创建、发现和共享ar艺术。
2020 Google开发者大会：AR技术大神讲解ARCore深度API运作方式
VR陀螺11月23日消息，在2020Google开发者大会最后一天，关于ARCore的深度API技术演讲如期举行。ARCore 1.18 中发布的深度 API，赋能数以亿计的 Android 设备，在只是使用一个 RGB 摄像头的情况下，生成深度图。本演讲介绍什么是深度 API，它如何工作，以及开发者如何可以利用它创造出有趣且真实的 ARCore 应用。
Google 技术布道师周克忠与Google 软件工程师Eric Turner以“使用深度 API 提升 AR 的真实性”为主题进行了演讲。演讲的前半部分，周克忠介绍了ARCore的最新功能，包括深度API是什么，它可以解决什么问题等；后半部分，Eric介绍了ARCore如何实现深度API。
一、深度API是什么？它可以解决什么问题？
之前Google大中华区ar/vr负责人熊子青也曾讲述，ARCore是Google为安卓平台制作的AR开发平台，目前在全球支持超过5亿台设备。其核心能力是运动追踪、环境理解和光估测。现在已经有很多APP使用ARCore制作出各种各样的丰富体验。
通过ARCore制作的应用看上去很逼真，但是实际体验上，这些虚拟内容看起来好像他们就是手机膜一样被贴到手机屏幕上，他们并不是真的在现实世界里面，这里缺少的就是遮挡，会破坏ARCore应用的真实感。
深度API的加入，可以解决虚拟对象缺乏真实感的问题，能够消除违和感。
二、如何实现遮挡？
首先我们需要定义深度。如图C点是摄像机的位置，Z轴是摄像机的主轴，A点表示一个现实的物体，从C到A的深度则被定义为线段CA在Z轴的投影。此为场景物体的深度轴。
根据深度信息，智能手机就能够渲染虚拟物体。在着色渲染器里面计算每一个像素点的时候，我们将当前像素点的深度值，和之前在这个像素点所渲染过的颜色的深度值进行对比。
如果之前的像素点深度值更低，那么就意味着它更近；相反，则更远。就这样便可以实现基于深度的遮挡效果。
三、除了遮挡，深度API增强真实感的其他方式
1.AR光标。在AR应用里面，用户可以把定点的光标贴合深度API生成的网格，此时光标就变成了在现实世界存在的AR光标。目的是更好地帮助用户理解现在所看到、所对准的具体位置，以及这个位置的形状。
2.物理交互。比如如图所示，将一个虚拟物体丢到健身自行车上面，让AR物体和真实世界的物体发生物理碰撞，进行物理模拟。
3.表面交互。通过让AR角色在识别真实物体表面的高低起伏，从而做出更加真实的前进路线，甚至可以绕开障碍物。
周克忠还介绍了目前团队发表的论文《Depth Lab：Real-time 3D Interaction with Depth Maps for Mobile Augmented Reality》(UIST，2020)，论文主要关于如何从深度信息实现以上功能，以及深度信息可以开启怎样的应用场景。
四、如何实现复杂的用法？
团队利用了三种辅助数据结构来帮助计算。
第一种数据结构就是一个深度数组，可以在屏幕上进行局部坐标的深度信息查询。
第二种是深度网格，可以用来和真实物体的表面进行交互。注意这里是平面坐标系的网格，毕竟世界坐标系的网格运算量过大，一般手机无法承载。
第三种是深度贴图，对GPU能处理的每一个像素都提供对应的深度值。
这三种结构在Depth Lab（深度API应用程序）都有提供代码，是一个开源项目，提供给开发者进行自主设计。
五、关于局部、表面和密集深度贴图的方法
通过使用深度数组，用户可以查询局部的点的信息，以及这个点周围的局部区域的深度信息。
局部深度用法中，只用某些点的深度估测值，可以用于测量、3D资源的放置和碰撞检测。也可以配合多点的深度，实现简单的AR角色的障碍规避。比如说通过深度信息查询环境中一个点与另一个点的实际距离。
表面深度用法，是基于深度信息快速构建屏幕空间的网格模型，利用游戏引擎进行网格交互。表面深度算法让我们可以在3D网格上面实现光照、物理效果、阴影等功能。密集深度用法，即通过在深度贴图上直接进行操作，以实现复杂的逐像素特效。由于深度贴图上的每个像素都有深度值，使得计算量特别大。一般的屏幕空间网格，其实是经过相当的简化后的网格，而ARCore把计算量移到了GPU上，减小了手机的计算负担。
第二部分里，在周克忠介绍深度API实际运作方式的基础上，Eric通过具体例子进行了补充。
六、深度API原理剖析
一般而言，手机需要配备特殊的深度硬件才能实现深度识别，比如ToF深度传感器，但实际上并不需要特殊设备，只需要有摄像头，就可以实现ARCore的深度API功能。
如图，左边是手机相机拍摄的原始图像，右边是深度API为此场景生成的深度。用户可以近距离观察单车，也可以远距离观察远处的门和走廊，分别对应的颜色是红色和蓝色，表示近处和远处。
这意味着无论AR应用在做什么，它都可以获取整个场景中的每个帧的深度信息。根据相机的运动生成深度信息，如蓝色帧为远处，红色帧为近处，这些帧会被最后的相机画面帧（黑色）引用为立体匹配关键帧。过去的帧与当前的帧之间的基线，可用来估算场景的立体深度。
但Eric提到，基于用户自然移动的规则，团队为此添加了一些限制。因此与传统的并行立体匹配相比，设计基于自然移动的深度API则存在一些挑战。
传统的并行立体匹配可以全面控制相机之间的相对位置。而在典型AR应用中，对于随机相机移动，团队无法控制相机的位置，即用户在进行自由移动时，相机可能在任何方向。
而目前，ARCore深度API添加了智能图像处理功能，以确保整个图像都具有准确的深度。除此之外，还能够补偿速度匹配错误、运动模糊、自动聚集聚焦变化或自然移动导致的小于正常基线的问题等。
深度API的完整流程是：
实时图像-形成关键帧池-筛选出关键帧-根据智能算法剔除无效关键帧-立体匹配-使关键帧平滑-调用深度API-实现渲染遮挡。
其亮点在于，即使是一面空白无特征的墙，ARCore的深度API仍然能够生成正确表示该空白墙的深度图像。
其原理是，如图所示，白墙是黄色帧，箱子是橙色帧。在图二的中间，可以看到伪色深度图像，正确呈现了场景中的物体的远近位置。而图三则是以点云代替颜色，进行了侧面视角观察，但同样能以垂直点表示墙面、水平点表示箱子，准确判断出墙和箱子的相对距离。
演讲的最后，周克忠总结，实现深度API最大的难点是怎么扩展这个能力。到数以亿计的安卓设备上设计深度API的时候，一方面我们需要尽可能的呃让它的结果准确精确，另外我们需要尽量去减少它的计算量，以尽量支持更多的已有设备。
而近年来，Google一直在进行深度API的优化，以减少它的计算量。
2020 Google开发者大会：大中华区AR/VR负责人熊子青补充ARCore应用案例
VR陀螺11月22日消息，Google 开发者大会 (Google Developer Summit) 是谷歌面向开发者展示最新产品和平台的年度盛会。2020 Google 开发者大会于 11 月 16 日 至 21 日举行，这是谷歌首次以全线上大会的形式与中国开发者相聚。本次大会以“代码不止”为主题，介绍了相关产品更新以及一系列面向本地开发者的技术支持内容，旨在赋能开发者高效创新、持续不断地创造愉悦的产品体验。
其中，11月21日，Google大中华区AR/VR负责人熊子青以“ARCore新近更新及应用实例”为主题，从ar 近期发展、arcore进程、2020新近更新三个方面介绍了ARCore产品动态。
一 、AR的近期发展
熊子青表示，目前AR已经从只是畅想发展到今天的技术相对成熟的状态，应用也不断推陈出新。加上5G的带动，越来越多的AR体验走进生活，被更多人了解和使用。
随着科技的不断演进，人机交互的方式也不断变更。摄像头成为了数字世界的眼睛，能看懂并感知这个世界，再结合IMU、GPS，加上背后的算法及深度学习后，在最需要的位置和时空中无缝联结，并响应现实世界。
AR提供了一种体验信息以及获得答案的新方法，吸引了人们的注意力，最终帮助推动了用户行动起来。无论是应用的下载、互动，还是应用内购买，都看到了显著的提升。
二、ARCore 进程
AR技术被应用在更丰富的应用场景中，以帮助人们生活更便利、更有趣，包括在学习、购物、导航等。
Google search中，设计了许多3D模型，老虎、狮子，甚至是数学公式，让用户在搜寻时能360度观看，也可以用ar方式投射到家中，立体化地了解信息。疫情期间，获得了全球使用者的广大回响。
关于Google lens智慧镜头应用，用户打开摄像头就可以识别花草、文字、电视、地标、菜单。
在YouTube中的应用。用户可以一边看美妆博主示范化妆方式，一边可以使用AR功能进行实时试妆。
Google Map中也应用了ar户型导航。用户可以看到方向指示牌和导览提示，仿佛一个专属的私人导游。该应用是目前GoogleAR应用中使用者最多的应用之一。
随着手机的普及，营销媒介也发展出基于手机相机的新应用。运用AR将人们带入沉浸式体验，将人们带入品牌世界。Google display network中，Google推出了3D Swirl营销工具，该营销应用在今年下半年正式完成了beta测试版，并且已经看到了用户参与度及品牌影响力的显著提升。
5G实践前沿。随着5G商用化，ARCore与LG Uplus合作，在韩国首尔进行了AR+5G的实践尝试。在首尔地铁站布建了AR艺术长廊和展示车厢，5G加持能够克服地铁站人多信号差的缺陷，人们能够顺畅地体验到丰富的AR艺术内容。
昌德宫。联合国教科文组织世界遗产站点。Google与SK Telecom和文化遗产管理局合作，创建了全球首个5G赋能的AR文旅体验。AR导览由一个活化的石狮子带领，游客可以穿越到朝鲜王朝，体验传统习俗和体会朝鲜贵族生活。
三、关于ARCore核心功能
1、运动追踪。用来帮助用户实现虚拟现实的映射关系。
2、环境理解。对现实环境中的平面信息进行评估，利用特征点来估算位置、大小以及朝向。
3、光估测。ARCore可以分析估算当前环境中的光照信息，对渲染的虚拟内容进行光照色彩的校正，使其与手机摄像头拍到的真实画面结合得更加自然。
另外ARCore还有许多延伸的功能：
1、增强脸部识别。提供了高精度468点的3D Mesh。可以精准地追踪脸部细微表情，不需要深度传感器，而是运用机器学习（ML）技术深度学习，以达到这样的功能。同时支持安卓及IOS用户。
2、环境光HDR。要让虚拟物品看起来更逼真，更融入实景，其中最重要的功能之一就是要有正确的光照呈现。运用了ARCore所提供的360度全景光照信息，图中的虚拟小火箭，就可以有了对应的反光及影子。
3、Scene Viewer场景观测器。让开发者可以直接在网页上向用户提供方便、好用的3D内容及AR浏览功能。
4、Agumented Image增强图像。可以检测手机拍摄到的图像信息，并与预先设置在数据库中的图像进行匹配。可精确匹配包括移动中的图像，或是同时检测多个图像。
5、云锚点。为安卓和iOS用户创建共享的跨平台体验。就如同图中的案例，从两个人到数百人，都可以在各自的设备上一起种花、浇灌。
四、新近更新的案例补充
此前，VR陀螺已整理了AR软件工程总监王启文（Leon Wang）关于ARCore最新动态的演讲。在此基础上，熊子青补充了一些案例。
1、瞬间放置API（Instant Placement API）
这个功能允许用户仅需根据小范围的平面特征，快速流畅地放置物件与互动，无需先移动设备，等待完整的环境跟踪。
瞬间放置与比例维持功能相结合时，具有以下特点：
用户可立即防止虚拟物件及互动维持准确性等准备好6DoF位置后，再过渡到“世界范围”的正确位置。开发者可以使用适当UX来指引过渡。
美图也运用了Instant Placement 在一些特别的滤镜中，例如在地上摆放一个宝藏箱，或是在地面刻印上今天的天气、日期，用户可以直接跳过扫描平面的步骤，快速放置或移动虚拟物件。
2、景深应用API（Depth API）
景深API关键功能是遮挡虚拟物体、与虚拟对象互动、获得沉浸式效果。这三个功能使得虚拟对象能够与场景真正融合在一起。
例如谷歌创新实验室打造了一款实验性应用Lines of Play。将多米诺骨牌及AR融合，借助深度信息，倒塌的骨牌会与房间中的墙壁家具，产生自然的互动。
Reality Crisis的Skatrix游戏，让用户无论是跳跃在楼梯边缘或书桌上，都可以真实展现遮挡及碰撞的技术魅力。
除了移动游戏及自我表达类应用外，深度信息还在很多工具类应用上大放光彩。
例如提供远程技术解决方案的应用TeamViewer，专家足不出户就可以使用实时3D AR，在机器中准确标注，为用户提供远程技术支持，一步步指示你修好家中的打印机。
知名手机制造商三星，也应用了ARCore Depth API。智能手机可以利用预制尺子进行物体大小参数的测量。
3、持久云锚点API（Persistent Cloud Anchors API）
该应用可以让用户在更大的区域、更长的时间映射锚点内容。换句话说就是开启AR的“保存按钮”，将数字和真实世界对应叠加，用户可以将锚点叠加在任何需要的地方，例如附加笔记。
过去云锚点只能保存二十四小时，这次我们推出全新的架构，将每次保存的时间可设定为一年内任意天数，并可以多次延长时间。
例如创梦天地携手SYBO开发的社交应用MARK。通过Persistent Cloud Anchor，将用户的AR涂鸦创作与真实世界的位置链接。
瑞典铁路局在火车站中的室内导航SJ Labs，也运用了持久云锚点，协助旅客轻松地找到出口或特产店。
除此之外，由于疫情原因，博物馆关闭。REWILD项目组充分运用深度API及Persistent Cloud Anchor，将博物馆搬到家中。这个项目已经两年获得了著名威比奖的最佳AR奖项。
HTC Vive黑色星期五大促销，除了降价还免费赠送《Half-Life: Alyx》
Vive官方网站正在对HTC Cosmos VR头显系列进行促销，感兴趣的朋友可以留意。
以下优惠截止至11月27日：
HTC Vive Cosmos – 599英镑（709美元）折扣100英镑。HTC Vive Cosmos Elite- 799英镑（946美元）优惠100英镑。HTC Vive Comos Elite（仅头显）– 449英镑（ 532美元）优惠100英镑。Cosmos x AORUS 15G（笔记本捆绑套装）– 2,289英镑（ 2710美元）优惠409英镑。Cosmos Elite x AORUS 15G（笔记本捆绑套装）– 2,459英镑（ 2912美元）优惠439英镑。
购买以上产品，或者HTC Vive Pro Full Kit（1,119英镑）、HTC Vive Pro Eye（1,299英镑）都可免费获得《Half-Life: Alyx》副本。在免费捆绑的游戏里，少有能媲美《Half-Life: Alyx》的。无论是优质的游戏场景，还是精雕细琢的战斗，Valve的AAA级动作冒险类游戏体验都很容易让其成为玩家玩过的最好的游戏之一。
订阅了HTC游戏订阅服务Viveport Infinity的用户（目前可享受15％的折扣）还可获得《Phasmophobia》免费副本。获得该游戏副本后，可以永久保留，之后无需再订阅。
索尼最新PSVR Mega套装包含三款TOP25游戏和Camera摄像头，无Move控制器
索尼推出新的PSVR Mega套装，包含PS适配器，无PlayStation Move控制器，替换上了《Moss》、《Blood & Truth》两款游戏。
新的PSVR Mega套装将于本月在欧洲、澳大利亚和新西兰推出，包含头显、相机，以及《PSVR Worlds》、《Astro Bot Rescue Mission》、《Everyone's Golf VR》、《Moss》、《Blood & Truth》这几款游戏。《Moss》、《Blood & Truth》替换了旧套装中的《Resident Evil 7》、《Skyrim VR》。不必为此感到有所亏损，替换上的两款游戏均在PSVR游戏列表排名前25。
考虑到开发商Bethesda刚刚被竞争对手Microsoft收购，Sony选择替换下《Skyrim VR》并不奇怪，从时机上来看很是巧合。至少这似乎表明PSVR至少在PS5使用的第一年准备好了游戏库存。
此次套装同样包含适用于PS5的PlayStation摄像头适配器，遗憾的是PlayStation Move控制器并未被包含在内，用户可以选择使用DualShock 4控制器。不过，PlayStation Move控制器可以说是玩《PSVR Worlds》、《Blood＆Truth》、《Everybody's Golf VR》这些游戏的最佳选择。
索尼表示，该套装将于本月推出，目前价格尚未公布，我们所知道的是前一套售价为299.99英镑。此次的套装应该暂时不会在美国推出，但美国的用户依然可以购买Iron Man VR套装，该套装包含PS5适配器和Move控制器。
