4月21日的首场研讨会正式结束，来自英特尔物联网事业销售部朱健华为研讨会带来《英特尔智能盒子引领智能边缘未来》，其中讲解了英特尔AI超级计算盒（旧称智能盒子、AI box，以下将使用官方中文名称：AI超级计算盒）方案的技术细节，在直播间引起了激烈讨论，小助手把直播内容整理如下，想了解学习英特尔AI超级计算盒方案的小伙伴们速度收藏分享吧！
英特尔AI超级计算盒前世今生
人工智能已经从最初的构想成为遍地开花的产业，广泛地应用到各个行业，甚至是我们的日常生活中。其中，基于视觉的人工智能应用场景最为丰富，市场需求最为旺盛，越来越多的前端摄像头的部署，产生了海量的视频数据。这些数据不论是在本地存储，还是上传云端，其实都带来了很大的存储和网络带宽的成本。
边缘端的深度学习给我们提供了解决的方案，只保存和传输必要的数据。同样的有很多系统，需要实时响应，或者是考虑数据的安全性，都不适合上传到云端来进行分析。比如说工厂的智能生产车间、零售店的POS收银系统，这时候边缘端的人工智能分析，可以提供很好的解决方案。
从英特尔的角度来看，对人工智能的需求是贯穿了从端边云到整个网络。终端设备连接的节点，可以是某个硬件设备或者是网关，NVR甚至有可能是边缘服务器，我们把它统称为AI超级计算盒。
有分析表明，到2023年有43%的人工智能的任务是要在边缘端处理完成。边缘端人工智能能力的设备需求到2023年是15倍的一个增长，所以边缘端、人工智能方案的需求是非常旺盛。这一页主要列举了边缘人工智能需求的很多的具体应用场景，基于视觉的人工智能边缘方案，在安防领域已经有非常成熟的落地。比如说人脸识别、人脸门禁、车牌识别，目前这些边缘方案已经开始逐步落地到各行各业中。比如说在智能零售领域，从人脸支付、自助收银、到商品的货架管理、客户行为分析等等这些，商家在给客户提供便利的同时，也更好的了解了客户需求，提高零售效率，真正得做到智能零售。
再比如说智能机器人的应用场景，在此次疫情中，各种服务型机器人广泛的应用到抗战疫情的各条战线上，不论是、医院的物资配送、消毒、防疫、巡检、测温等等，这些都是基于计算机视觉、人工智能深度学习等等数字化技术，从而使得机器人越来越智能。另外在智慧城市、智慧交通的应用场景、社区的公共安全、智能路灯、智能停车系统，在工厂的智能制造也有很多的落地场景，比如说产线的缺陷检测、生产的行为规范等等。因此可以说边缘人工智能的需求无所不在。
而针对这种庞大而复杂的人工智能计算需求，英特尔提供了一个端到端的解决方案。
边缘端的“神兵利器”
接下来将重点介绍这款边缘端的解决方案 - “AI超级计算盒”，在边缘端我们主要是以CPU+视觉加速卡的方案，根据实际应用的场景的大小，复杂的程度，作为host端CPU，我们可以从ATOM™一直到酷睿™，甚至到至强™系列提供高中低端的硬件平台。
在视觉加速卡的选择上，我们也可以根据场景对于AI的需求，灵活地选择相匹配TOPs的视觉加速卡，可以是英特尔Movidious™的视觉加速卡，或者是FPGA的视觉加速卡。其中以Movidious™的产品低功耗、高效率，非常适合边缘端的、人工智能的运算需求。
根据人工智能算力大小，可以灵活地配置一颗或两颗芯片方案。英特尔OpenVINO™工具套件提供了对神经网络推理的开发和部署，它包括模型优化器和推理引擎，支持了高度优化的神经网络计算能力，并能够支持英特尔CPU、集成GPU、VPU以及FPA在内的英特尔硬件平台。加速模型的推理工作。也就是说只要在OpenVINO™的这个平台上来进行开发，不论我们是选择以上哪一款的硬件平台，都能够得到OpenVINO™的支持。
那什么是英特尔的AI超级计算盒？它的价值主张是怎么样的？它其实就是英特尔的CPU，VPU的硬件平台，再加上深度学习软件算法。从硬件上，我们主要是一个可配置的英特尔的CPU，VPU的灵活组合的硬件平台。软件方面，我们以OpenVINO™ Base的深度学习神经网络的算法，整个平台提供了面向异构计算的灵活深度学习平台，有强大的IA通用计算性能，AI分析能力，以及优化过的大规模数据库匹配解决方案。
由于在边缘侧的应用场景非常的多样化而又碎片化，我们用这样的AI超级计算盒方案，简化了AI方案的开发，帮助客户快速得实现量产原型机的开发，来进行方案验证。基于成熟算法和硬件平台的解决方案，可以缩短产品的上市时间，将智能产品的开发周期从几个月缩短到几个星期，从而来帮助我们的行业的合作伙伴和我们的客户能够实现算法嵌入式平台的快速的工程化的落地，来加速实现企业以及行业的 AI智能化升级。
而在硬件产品组合中，从CPU来说，我们支持多种的CPU的型号，可以灵活的来进行配置。从Apollo™到赛扬™、到奔腾™，到酷睿™系列均可支持，客户可以灵活选择。这个硬件平台，同时可以支持16路以上的高清的媒体的编解码性能。
除此之外，我们还有多种视频加速卡的选择，可以提供灵活的AI的能力，比如可以选择1到3颗的HDDL-L2的视频加速卡，可以提供多达三个T的AI算力。 而针对于高密度的deep learning的要求，我们可以选择HDDL-R8的卡，能提供多达8个T的AI算力。
除此之外，整个板子是一个低功耗、高灵活度的AI超级计算盒的一个设计，非常适合用于多种的嵌入式的应用场景。
右边是一个GPU的设计的框架图，在下面我们可以看到有两个HDDL的加速卡，左边的 HDDL-L2是由两颗MyriadX在板子上，右边的HDDL-R8是由8颗MyriadX在板子上。
前面我们已经介绍了AI超级计算盒在边缘端的许多的具体应用场景，在这些应用场景里面，其实都有涉及到多路并发的视频业务逻辑。在上面这张图中，主要是给出了这种多路并发的视频分析、视频处理的业务逻辑所涉及到的一些功能模块。
首先是前面我们会有多路的摄像头的输入，这里就会有视频流的接入以及解码，与之相对应的也会有视频流的编码模块。在有些应用场景，比如说视频墙的应用场景，它又会涉及到多路拼接和多路显示的这种功能模块。针对于人工智能、AI部分的需求，那么我们就会有神经网络推理的这样的功能模块，还有一些本地存储的要求，所以整个的视频业务逻辑，这个pipeline。其实基本上可以看成是这样。
先是前端多路视频流的接入，解码，然后进行缩放颜色格式的一个转换，然后进行神经网络的推理。之后我们再会把一些推理的结果叠加在图片上，然后进行拼接显示，最后再编码存储，那前面我们所讨论过的应用场景，都会在整个视频业务逻辑中涉及到其中的几个功能模块。
针对这种多路并发的视频应用场景，英特尔提供了一系列的软件stack，来加速AI超级计算盒base的软件和算法的开发，缩短上市时间。
自下而上来看，首先是底层库，这里面有大家所熟悉的英特尔Media SDK，英特尔 OpenVINO™，OpenCV，BDFM，G-API，VAAPI，libDRM，这些底层库主要是视频处理、神经网络推理、计算机视觉相关的这些底层库，这些底层库都针对英特尔的硬件平台，CPU、集成GPU、VPU做过相应的性能优化。
FRAMEWORK这一层主要是提供的媒体处理的框架。这里面有Gstreamer，FFMPEG，HVA。 PIPELINES这一层主要是基于媒体框架搭建出来的视频场景的pipelines。这里面有很多偏功能性的模块，比如说 IPcamera的接入、视频流的解码、后处理模块、转码功能模块、存储模块、视频分析、拼接显示模块、以及特征匹配等等，这些偏模块化的功能，非常简单易用，便于集成。App这一层我们有提供偏应用场景的sample code，比如说视频墙的sample code、视频会议系统，基于Open Model Zoo的典型场景的视频分析，特征匹配，以及在Container里的视频应用。
这些sample code都是英特尔验证过的一些应用程序，可以帮助我们的客户加速原型机的搭建以及产品的开发，缩短上市时间。在OS方面，Linux和Windows操作系统都是我们所支持的。
除了这些软件stack，我们还提供了SVET的工具包，它包括部分的软件stack，这个工具包可以帮助我们的客户更快速的开发视频应用，在后面我们有一页来单独来做介绍。
接下来几页主要会介绍几个开发工具，先来看一下英特尔的MEDIA SDK，之前有用过英特尔CPU来进行开发的，我相信很多人已经对MEDIA SDK非常了解了，所以我这里不会多做介绍。MEDIA SDK它主要是如果我们要基于英特尔的CPU的硬件平台来开发视频编解码、视频处理、视频加速，这个时候我们就需要用到MEDIA SDK这个开发工具，其中最重要的就是MEDIA SDK的库，它主要就是针对英特尔CPU的一个硬件加速的库，方便你可以快速的来进行视频的开发，然后保证你视频处理的质量和效率。
这一页我们给出了两个例子，左边这个图它其实是基于英特尔的apollo lake的平台，也就是我们的凌动™的CPU，所做的一个比较典型的视频处理的pipelines的一个例子。这里面给出来是一个20路的HVR 264的1080p的一个解码，然后进行resize，拼接、显示，这么一个标准流程。这样的workload下，他所完成的工作占CPU的work load是12%。
第2个例子中间这个例子，我们给出来的是一个转码的例子，在至强的平台上，H.264的高清的5路，只是占CPU 30%的workload。H.265的高清四路，是23%的 workload。
其实MEDIA SDK我认为它还有一个最重要的它的好处，是在于它有统一的接口，兼容性非常好。我们有做这个软件开发的工程师，可能都会遇到这样的问题，我们在一个平台切换到另外一个平台上时我们所做的软件工作，可能都要做很大的一个改动来进行迁移。
基于MEDIA SDK的开发，那么它最主要的优点就在于它是跨英特尔的CPU的硬件平台支持的。不同代之间的CPU可以向前兼容的。 针对于OS的开发，不论是windows的还是Linux的，它都是有统一的接口。那这样带来的好处就在于我们在进行硬件的平台切换的时候，很容易的来迁徙我们的代码，缩短开发周期。
前面介绍的MEDIA SDK，它主要是用来做视频处理视频加速的这么一个开发工具。 这一页的OpenVINO™主要是用来做 AI开发、神经网络推理的这样一个开发工具。我们做AI开发的工程师可能都会遇到这样的问题，我们在开发中可能会用到不同的硬件平台。同样的网络可能部署在不同的我们的CPU，VPU或者是FPGA，这样的硬件平台。但是这些不同平台他们的开发工具都不一样。
那么我们在一个平台所做好的工作，其实是没有办法是移植到另外一个平台的。英特尔的OpenVINO™的AI的开发工具，是可以帮助大家来解决这样的问题的。针对于 AI的开发，OpenVINO™可以同时支持不同的英特尔的硬件平台，不论是CPU、集成GPU还是VPU还是FPGA，并且在这些不同的硬件平台上，我们都有比较好的AI的性能。
OpenVINO™有哪一些具体的功能，我们有这样一些案例：开发者他有自己的模型，也有自己的数据，所以他基本上是有自己处理好的模型。比如说，是基于TensorFlow的或者是Caffe的，这时候就可以用我们的叫Model Optimizer，也叫模型优化器。把已经处理好的模型转换成一个叫IR的一个中间格式，这样做有两个目的。第1个是说，我们转换成这种IR的中间格式，那么就可以在不同的英特尔的CPU、GPU、或者是VPU这样的不同的硬件平台上可以进行运行了。第2个目的就是Optimizer，它其实是对我们的模型是做了相应的一些优化，减少了一些计算量，提高整体的计算效率。
第2步，当我们转换成IR的中间格式之后，我们有一个叫Inference Engine，这里面会对我们不同的硬件平台，我们都有一个plug in。比如说我们有CPU的plug in。GPU的plug in。VPU的plug in。FPGA的plug in。这些plug in它是针对自己的对应的硬件平台提供了一些优化手段。通过 plug in的话，我们就可以把我们的模型运行到我们的硬件平台上。我们还有这样一类用户，他可能刚刚接触AI，他没有自己的已经处理好的模型，或者是他觉得我们公有的一些模型已经可以满足它的实际的应用了。
这时候在OpenVINO™里面有一个叫open model zoo，在open model zoo里，我们已经有40多个在英特尔的硬件平台上优化过的这样的公有的还有这样一些常用的这样的一些模型，可以供大家去使用。除此之外，我们还有一个叫 Deep Learning的Workbench。这里边主要是一些图形化的工具，可以用来做模型优化、模型分析以及一些Calibration Tool，主要是帮助大家来做 AI开发的。
OpenVINO™的 AI Inference的开发工具，是英特尔投入的大量的资源来做的这样的一个开发工具。我们每年都会有多次的Release，在每一次都会有一些新的 Feature的增加。今年我们在线上针对于OpenVINO™有很多的培训课程，是可以帮助大家从零基础一直到精通，如果大家感兴趣可以去参加这样的课程。
最后来介绍一下这个叫Smart Video Evaluation Toolkit。我们又简称叫SVET工具包。我们在进行这种高并发视频业务逻辑是通常会经过这么几个阶段，性能评估、产品开发、优化以及调试。我们的SVET工具包，它提供了几个组件，是可以帮助大家在整个的开发过程中给到大家一些帮助。
第1个组件就是这个叫E2E视频分析pipeline优化的参考代码，这个参考代码可以帮助我们的客户快速得搭建基于media SDK加OpenVINO™的视频pipeline以及相应的优化。比如说我们在早期评估阶段，我们就可以用参考代码快速得搭建相应的视频pipeline，得出实测的性能数据，从而来评估我们的业务性能指标是不是达到要求。那么在开发阶段的，我们又可以基于我们的参考代码，因为本身我们的参考代码就是一个open source的开源的这样一个代码，所以我们很容易得在基于参考代码上来进行修改，最后搭建我们自己的业务逻辑，和我们的应用相结合。
那么在优化阶段，因为我们本身提供的参考代码就已经经过高度优化的，所以它可以相当于一个benchmark，在你自己的产品开发的过程中进行优化。当发现一些性能指标有一些问题的时候，你可以跟我们的参考代码来进行一些对比，来看一下，是不是还有一些优化点没有做到。
第2个组件是我们与之相对应的文档和手册，在这个手册里面其实记录了我们的参考代码里面所对应的一些优化点，然后还有一些一站式的数据，我们在进行开发，还有测试的过程中，我们都可以用这个手册来去查找。 那这个SVET工具主要是针对于我们来做一些边缘视频AI的开发的这些开发人员，像我们的OEM/ODM,ISV&SI都可以使用这样的工具。最终目的我们是希望这个工具可以帮助我们的客户快速搭建这种多路并发的视频分析，以及神经网络推理的业务逻辑，同时提供非常好的一个性能指标。
物联网的人工智能市场非常广大，在这里我想呼吁有更多的,有算法能力的我们的合作伙伴，能够一起加入到英特尔的AI-ON-IA的生态系统，届时我们一起来激活生态系统间的协作。通过在边缘端部署英特尔AI超级计算盒，将强大的算力和不同形态的计算平台进行整合，通过这种创新的应用解决方案，来帮助企业升级它传统的业务形态。届时我们也会有专业的技术团队与客户进行对接，提供软件硬件的技术交流，同时我们也会有基于合作伙伴的programs，比如说ISA，MRS，RRK，AIIP等等programs来帮助我们的合作伙伴进行成长，同时我们每年也会有很多的workshop，event annual training，大家可以一起来讨论技术方向，以及寻找更多的合作机会，扩大我们的业务。
以上为朱健华-《英特尔智能盒子引领智能边缘未来》演讲文稿整理。
