• 发文
  • 评论
  • 微博
  • 空间
  • 微信

珑璟光电全息衍射光学杨博:基于人眼四大生理线索,如何实现3D AR显示?

VR陀螺 2021-09-21 10:59 发文

9月16日,由VR陀螺以及中国国际光电博览会(CIOE)合作主办的第二届5G·AR(增强现实)技术应用高峰论坛在深圳国际会展中心(宝安新馆)圆满落幕。 会上,珑璟光电全息衍射光学的负责人杨鑫博士为我们带来了十分硬核的全息3D光学技术内容,以“基于非相干照明的全息近眼3D显示”为主题发表了演讲。 5G及未来6G的发展使得世界正在迈入“无处不互联,无处不显示”的关键时间窗口。万物互联时代人与万物的互联互动是一个关键问题,AR显示尤其是AR智能眼镜为人与万物互联提供了重要的途径。AR显示拥有解放双手、数据可视化、交互更具革命性等特点,如今已在国防军事、医疗卫生、教育科学等多个领域有着重要应用,产业需求和市场前景也在持续增长。AR光学的发展趋势也从离轴光学、Bird Bath、PBS棱镜、自由曲面棱镜到现在普遍流行的光波导技术,这些技术逐步精良,使得AR眼镜体积更小、视场角更大、沉浸感更强。 

图源:中国光博会


 以下为演讲实录(内容有删减调整): 世界正进入“无处不互联,无处不显示”的重要时间窗口
大家下午好,我是珑璟光电的杨鑫。今天给大家从全息显示的角度来谈一谈未来 AR显示的方向。世界正在进入“无处不互联,无处不显示”的重要时间窗口。5G以及未来6G技术的发展为我们实现人与人沟通更加便利的方式建立一个非常好平台。现在我们使用5G网络的感觉是除了网速更快一点之外,其他感觉是不深刻的。因为5G、6G是在新基建里面一个非常重要的领域,它的意义在于支持了大数据,比如说现在的行程码、健康码,无人驾驶、工业自动化以及万物互联的物联网发展的。也就是说,我们将逐渐走向一个万物互联的时代,那么进入“无处不互联”时代之后,就会有一个重要需求:人与万物的互联与互动。
在这个过程中就会发现AR眼镜的形态技术将会是一个非常重要的落脚点,它相比于手机来说能够提供更大的屏幕,能够更好地交互。
AR智能眼镜显示方式有许多特点,第一个特点是解放双手。现在智能手机创造了大量的低头族,我昨天就碰到一个人,他提醒两个女孩,走路的时候不要看手机小心摔倒。而当我们在使用AR眼镜的时候,就不再存在这样的问题。

图源:珑璟光电

第二点,第一视角观看。我们使用AR眼镜实现了第一视角观看的效果,这种情况下在远程会议和远程工作中是非常重要的,也就是说远程的客户和现场客户能够看到相同视角的图像。
第三点,是信息数据化,AR眼镜不仅仅是为了显示,同时上面有传感器、有摄像头、有TOF系统,可以实时的获取我们现在所观看场景的图像信息和3D信息,从而使得我们的世界逐渐在获取场景信息的过程中数字化,而这些数字化的素材是可以作为元宇宙建设一部分的,在这个过程中就会实现信息数据化,那么数据可视化就是一个反向的过程。当我们拍到一个图像,传送到主机或者云上之后进行识别,AR眼镜会把图像的物品相关的信息输出,作为图像叠加在当前场景中,这就是非常重要的数据可视化。
第五点,AR眼镜是一个连接现实世界的可移动计算平台,它会包含相关的计算芯片,比如在图像方、面AI方面的芯片计算,会提升生产效率。
还有非常重要的就是交互的革命性,我们现在是非常习惯触屏,但我们未来通过AR眼镜,采用手势交互,语音交互及眼动交互等手段进行交互。马斯克还提出脑机交互,他现在正在研究这个工作。
未来某一天我们或许真的可以用一个传感器获取脑部的信息,通过AR眼镜来实现脑机交互,我们不再需要手舞足蹈了,这是有可能发生的一个事情。AR的这些特点注定了它是改变未来人类生活方式和工作方式的一个重要手段,在很多方面都有非常重要的应用场景,具有重大的应用价值。
全球产业端与消费端AR将取得长足发展,AR时代将逐步到来。在这里我就说几个感受比较深切的事情。第一,今年4月份有报道美国军方跟微软218亿美元的军事订单,在10年内要制造12万台HoloLens头显设备用于作单兵作战。12万新型的全信息化武装的、具有远程作战能力和全局信息掌控的新型特种兵,这是一个非常值得我们去考虑的问题。
第二点就是近期亮风台发布了一款工业级的AR眼镜应用,并且在同期公布2.3亿元的融资,也就是说资本市场以及工业应用对AR显示的需求已经在提升。影目的眼镜非常时尚,小米最近也公布了非常时尚的AR眼镜,这是向C端进军的一条出路。
从上面的三个例子来说,军事上的应用已经在美国体现了,工业上的应用也在发展,面向C端的应用也在发展,各个行业的AR应用正在逐渐进步,我们的AR时代将会逐步到来。
这是之前一些机构的统计的情况:2019年微软对全球市场进行了统计,AR产业将会有非常大的增长率。智研咨询在19年对国内的 AR市场作出了一个预测,到2025年,国内也就会有一个非常大的进步,会出现千亿级的市场。
图源:珑璟光电
基于上述这些原因,我7月份北航博士后工作完成之后,就从科研圈进入了企业圈来做AR显示,因为这里面有大量的工作和美好的前景可以让我们去发挥才能。  AR智能眼镜是包含了信息技术、通讯、电子、材料和光学的一个综合体,它是集这些技术为一身的,如果说某一项技术没有做好,那么发展和广泛应用都会有很大的困难。
AR眼镜最首要的属性就是让大家观看。观看是它的第一主要属性,所以我们珑璟光电就在如何让大家看到更好的图像问题上展开工作。
AR光学有一些技术方案,包括离轴光学、Bird Bath、PBS、自由曲面棱镜。这些技术都各有优劣,在这些技术中,只有基于光波导镜片的AR智能眼镜是最接近真实形态眼镜的,所以我们技术落脚点就在光波导技术的研发上。光波导技术也是目前很多大厂的重要选择。

图源:珑璟光电 双产品线:阵列光波导已实现二维扩瞳,衍射光波导将大幅降低成本
珑璟光电现在主要有两条生产线,一方面是阵列光波导,阵列光波导上我们实现了一维阵列光波导到二维阵列光波导的发展,这次光博会我们带来二维光波导的显示的样品,实现了50度视场角AR显示。

图源:珑璟光电

跟一维阵列光波导相比,二维阵列光波导最大的好处是,它使得光机的尺寸变得更小,所以整个模组的体积更小、重量更轻,就更有利于未来AR眼镜形态的应用。
在衍射光波导方面,我们也做了一些积极的布局,研发了一系列单色及彩色衍射光波导,目前正在进行小批量的生产。
图源:珑璟光电
 那么这里我们来看一下这个视频,这里是基于阵列光波导的AR眼镜,我们拍摄出来的一个结果。 
基于阵列波导实现的AR显示,其实我们已经达到无界显示了,就是说图像屏幕的边界已经看不到了,只能看到呈现出来的图像,栩栩如生,清晰可见。这是我们第二个视频。 



第二个视频是我们目前基于衍射光波导的 AR眼镜拍摄的视频,衍射光波导相比于阵列光波导的成像质量会差一点。
通过微纳加工的方式做全息光波导、或浮雕光栅,或是体全息光栅,很难保证它的光栅的设计结构和加工结构完全相同,就会有散射,还有一些彩虹效应的问题出现。
所以这个衍射光波导的显示图像相比于几何光波导的图像质量会差一点,但衍射光波导通过纳米压印有很大的空间来降低成本,生产效率会非常高,所以我们在阵列光波导以及衍射光波导的两个方面均有布局。
这是我们公司几个重要的节点,在2018年我们实现了一个16,000平方米的生产基地的建设,是国内目前阵列光波导的第一个生产线。
第二个重要的时间节点是今年8月份珑璟光电的微纳光学研究中心新址揭牌。现在我们可以在同一个生产基地完成几何光波导与衍射光波导的研发和生产,未来我们会再进一步推进产业园建设。可以想象一个事情,在一两年之内,我们把衍射光波导以及阵列光波导投向市场。
基于人眼四大生理线索,如何实现3D AR显示?
接下来我们还能做什么?我们是一个模组供应商,在这两条生产线上在做迭代优化,提高模组显示质量外,我们后面还能做什么?这是我们的一个问题。
这个问题可能有很多答案。我们这里想给大家分享一个答案,就是3D AR。我们知道理想的3D显示是一个窗口,人眼通过这个窗口看到完整的3D信息,就和观看现实世界的3D信息相同。

图源:珑璟光电
在这个过程中,实际上人眼在观看3D信息的时候,有4个生理线索。
第一个是调焦,当观看远近不同的物体的时候,我们通过人眼的聚焦看清不同深度的图像。
第二个是汇聚,当我们在观看的时候,双眼的视轴会汇聚到物体上,那么观看远近不同物体的时候汇聚角度将不同。
第三个就是运动视差,运动视差就是在不同角度观看的时候,我们将会看到3D场景不同侧面的信息。
第四个是双目视差,因为人眼的横向排布,左眼看到的图像和右眼看到的图像是不相同的。
如果3D能够全部实现这4个方面的视觉线索,才是真正的3D。大家熟悉的3D基本上是在电影院看到,裸眼3D产品基本上看不到,可能在参展的时候偶尔可以看到,这里就有一个非常重要的原因,信息量不足。我们基于现有的显示技术,实现这4个生理3D线索的信息量还不足以满足现在的要求。
在 AR显示里面,运动视差可以在运动的时候提供,因为它天然就是为一个人的左眼和右眼显示图像,所以在这种情况下,信息量的需求被大大降低。AR和VR的情况是相同的,就是降低信息量的需求,AR和VR它为未来3D显示提供了一个重要的途径,可能在这两个方面是最早能够广泛应用3D显示的。
另外一个是心理深度线索,透视、阴影、纹理遮挡、先验知识等。在绘画里面,通过绘画的技术呈现3D的一些手段,不是真正给我们提供3D感知的,而是一些心理暗示。
我们做3D显示其实最主要的是将4个生理线索提供出来。

图源:珑璟光电
3D显示基本上可以分成4类,第一个就是双目立体显示,双目立体显示就像在电影院里面通过偏振片分光来看3D电影。在电影院里面体验还不错的,是因为两个原因,第一,位置是固定的,第二图像比较远,如果当3D图像离我们比较近的时候,人眼的汇聚和聚焦会发生较为严重的冲突,就会导致眩晕。也就是说基于双目视差的3D显示,导致了眩晕是不可避免的,除非重构光场。
第二个是自由立体显示,主要有有集成成像的光场3D显示,还有多视点的光场3D显示两大类。
第三个是体3D显示,是通过扫描的方式在空间内重构3D图像,它的问题就是每个发光点的发光方向是不可控的,也就是说遮挡效应是很难呈现的。
最后一个就是理想全息3D显示,全息3D显示它是通过干涉记录衍射再现的一种技术,能够把3D场景的所有信息呈现出来,这是3D显示领域的一个理想。
今天第二部分就是跟大家分享我们在这方面做的一些工作。
现在实现3D AR显示是基于双目视差的三维显示、汇聚和聚焦会产生冲突。当这个图像离我们比较远的时候,看的是比较舒适的,但是相当多的情况下,比如说工业设计,设计图像要在眼前呈现、进行交互,眩晕感就会来,除非说重构三维光场,否则这是一直存在的一个问题。
下面是一个非常典型的彩色全息3D显示系统,红绿蓝的三个激光器发出的光准值之后,分别照明三个LCD。三个LCD里面分别载入红绿蓝的计算全息图,然后在一定的空间里呈现出来一个3D的彩色图像,但这有很明显的一个问题,它系统是非常大的,不适合做到AR眼镜中。

图源:珑璟光电
第二就是基于激光显示的全息,做激光显示的朋友会知道,激光显示的散斑噪声是一个很麻烦的问题,在激光全息里面也是相同的。所以基于对现有技术的认识,我们就提出了我们的全息显示方案。
我们先看单个光栅的色散,光栅是一个色散元件,光打到上面去,不同光的光线它将会传播到不同方向。在一定的设计条件下,我们可以保证所设定的光线垂直于我们的光栅衍射出来,这是单个光栅色散的情况。

图源:珑璟光电


再看复合光栅。同样的一束光打上去,复合光栅包含三个光栅,红绿蓝的三个光谱朝着相同的方向传播,在这个时候我们可以有一定的办法把红绿蓝的三个光谱获取之后,重构一个白光。
这实际上就是彩色显示系统里面的三原色,毫无疑问的是在光栅里面我们是没有任何图像信息的,所以复合光栅是不能用于显示的。这个时候我们通过在复合光栅中编码三维场景的光场图像,通过衍射来重构3D场景。
这里是我们的光路图:通过一个LED,通过透镜准直之后,照明 BS分光镜,有部分光会打到 LCoS上,LCoS上就是编码的计算全息图。这是整个的光路,就会变得比较小巧。

图源:珑璟光电
 珑璟光电以及一个脸谱的显示效果,通过该技术实现了一个彩色3D显示。这个彩色显示跟大家所熟知的三原色叠加以及持续刷新都是不相同的,它是一个白光LED照明的一个彩色3D显示的方案,在这个过程中能够编码和解码3D的信息。

图源:珑璟光电
这个视频是我们通过这个系统拍出来的一个3D动画。我们通过这样的一种技术手段,能够实现一个彩色3D的动画的播放。



现在看到的拍摄出来的视频,已经是二维的,要去现场看3D才能够感知到3D。这个示意图是指未来做3D AR的时候,我们的方案实现AR眼镜的一个基本形态,光路做到侧方通过一定方式将光转折后进入人眼,实现3D显示。

图源:珑璟光电
那么上面的显示通过cos函数编码的全息图,是一个振幅的全息图,这里面我们要简单讲一下,振幅和相位。
比如说LCD显示屏,它的背光是固定的,它是通过液晶控制光线的偏振,被偏振片吸收光产生的像素的明显调制,也就是说它通过控制每个像素的明暗控调制的时候产生图像。这种方式,它振幅的调制,在这个过程中就必然有大量的光能的损失。cos函数编码的振幅全息图相同,它是一个灰度的图像,它会吸收能量,所以我们进一步研究能不能以纯相位的显示方式显示。
相位是什么?我们知道透镜可以把光进行汇聚和发散,透镜在光的变化过程中,它不改变光的强度,只是改变光的光程。这种方式实际上是一个通过折射改变相位的方式,所以我们正在研究通过相位编码的方式来获取一个高能量利用率的AR显示效果。 这是非常重要的,因为未来的AR眼镜的续航是一个非常关键的问题。如果我们在光机部分图像源部分的损失能量都非常巨大的,那么续航就会减少很多,在相同的条件下,我们的图像源的部分是不损失能量的,相同情况下的续航将会增加,所以我们就提出了相位型的全息编码方式。

图源:珑璟光电 这里的编码方式跟前面有所区别的是这个H是由三个复数相叠加的:这个时候全息图是一个透明的,每个像素改变的是照明光局部的相位,可以认为是一个透明片。 这里就有我们显示的效果,都非常漂亮,这个成果我们在光学报上发表了,我们也希望有行业的同事能够在这方面一起展开工作。
我们也实现了对标准3D图像进行计算的纯相位三维全息图,对三维图像进行切片,分别衍射叠加后获得物光的复振幅信息并编码为纯相位的全息图,这里是我们的实现效果,三维显示结果与原三维图像非常接近。

图源:珑璟光电 当全息图计算的速度提升、体积进一步减小的时候,我们有望将该技术应用于未来的AR智能眼镜中。
这次光博会,我们展出了最新的二位扩瞳光波导,欢迎大家前往我们的展台7B72观看,另外我们还展出了一台光场VR 3D显示样机,通过时序将多个视角图像,从人眼瞳孔不同位置投射进入人眼,在时序矢向光束积分作用下重构三维光场,该样机为中山大学研究成果,我们目前在正在推进与中山大学的合作,开发基于波导的AR光场3D显示方案,希望在不久的将来,我们的几何光波导模组,衍射光波导模组及基于光波导的光场3D模组均能够为我国AR显示行业的发展贡献力量。
谢谢大家,我今天的汇报就这些。

声明:本文为OFweek维科号作者发布,不代表OFweek维科号立场。如有侵权或其他问题,请及时联系我们举报。
2
评论

评论

    相关阅读

    暂无数据

    VR陀螺

    VR陀螺,是游戏陀螺旗下关注VR...

    举报文章问题

    ×
    • 营销广告
    • 重复、旧闻
    • 格式问题
    • 低俗
    • 标题夸张
    • 与事实不符
    • 疑似抄袭
    • 我有话要说
    确定 取消

    举报评论问题

    ×
    • 淫秽色情
    • 营销广告
    • 恶意攻击谩骂
    • 我要吐槽
    确定 取消

    用户登录×

    请输入用户名/手机/邮箱

    请输入密码