From： Venture Beat； 编译：Iris
决定AI应用在智能手机上终端还是在云端运行，对于用户和开发AI应用的企业都十分重要，因为这与运行设备的长期电池寿命息息相关。大多数智能手机都或多或少地嵌入了AI应用，但如果所有的AI工具都在终端运行，有可能导致手机性能下降；而在云端运行，则可能导致较长的调用时间。
为了解决这一问题，近日Facebook和亚利桑那州立大学建立了一个支持AI减轻设备负荷的模型——AutoScale。该模型能够自动决策部署AI运行的位置，节省了大量成本，将AI工具的能效提高到基线方法的10．8倍；更能准确预测AI应用的合适位置，达到高性能和低能耗兼备的理想效果。
高能效＋低负荷
AutoScale：挖掘强化学习算法的潜能
AutoScale会观察当前的AI工作执行效率，包括算法的架构特征和运行时间差异。它在协同处理器等硬件之间选择，找到能够最大限度提高能源效率的硬件，以保证AI助手的服务质量。对选定硬件定义的目标执行推理后，通过观察其结果，包括演算运行能耗、延迟度和推理精度，以表明选中的硬件是否提高了AI工作效率。
AutoScale模型
AutoScale基于强化学习算法，计算累计奖励（R值），来选择AI工具的最佳运行方式。例如：对于给定的处理器，系统使用基于AI能效利用率的模型计算奖励，假设处理器内核消耗的功率是可变的，内核在繁忙和空闲状态下花费的处理时间不同，其能源使用情况也各不相同。相比之下，当推理扩展到连接的数据中心时，AutoScale可以借助基于信号强度的模型来计算奖励，预测传输延迟度和网络消耗的能量。
在适应QoS限制条约的前提下，
比起基线模型，AutoScale更能提高能效
3 款手机实验，3 次场景模拟
为了验证AutoScale的有效性，团队在三款智能手机上进行了实验，每款手机都用功率表测量其能耗，这三款手机分别是：小米Mi 8 Pro、三星Galaxy S10e和摩托罗拉Moto X Force。为了模拟云推理执行，他们将手机连接到服务器，通过Wi－Fi Direct将三星S6平板电脑连接到手机，模拟执行AI助手的口令。
AutoScale的推理方式主要分为五步：1． 将DNN特征和环境信息等设置为输入源2． 在查找表中选择合适的预测操作3． 将AI工具分配到预测的位置4． 记录AI工具的运行能效，评估各参数后给出R值5． 将记录好的参数更新在查找表里，实现自适应性预测。
针对这三款手机，AutoScale准确选择出理想的执行目标
实验显示，在自动定量训练阶段，设备执行了100次推理训练，使用了64，000个训练样本，并编译或生成了10个AI模型，其中包括机器翻译工具MobileBERT和图像分类器Inception。团队分别在静态和动态设置情况下展开后续实验，针对每种设置情况模拟了三个不同的场景：
· non－streaming计算机视觉测试场景，允许AutoScale对手机摄像头拍摄照片功能进行推理；· streaming计算机视觉场景，AutoScale可以对手机摄像头的实时拍摄视频功能进行推理；· 调用翻译工具的场景，AutoScale能够对翻译AI工具的编译过程进行推理。
在现实环境模拟中，AutoScale准确预测了理想执行目标，并极大地提高了DNN边缘推理的能效。在以上三个场景中，AutoScale的表现都优于基线模型。AutoScale的网络延迟度较低，在non－streaming计算机视觉测试场景中的延迟时间甚至缩短到小于50毫秒，其在翻译场景中的延迟时间则小于100毫秒。它也同时在维持低延迟的条件下保持了高性能，比如在streaming计算机视觉场景中，它可以达到每秒处理约30帧画面的工作效率。
此外，AutoScale的预测准确率高达97．9％，在边缘推理方面的能效是基线模型所能做到的1．6～10．8倍。它占用的内存也较小，仅有0．4MB，相比之下，中端手机的内存容量为3GB，AutoScale仅需占用0．01％，可见其“性价比”之高。
Facebook和亚利桑那州立大学的研究人员乐观地表示：“我们证明了AutoScale是一个可行的、能够自动化推理出最低AI能耗的解决方案的模型，并将为在各种实际执行环境下进行DNN边缘推理的能效改进工作预先做好万全的准备。”
