Memory

为什么内存在物联网机器学习中很重要

By Brad Spiers - 2018-03-27

无论我们走到哪里,新闻都在报道机器学习.  我们可以创建的模型的预测能力令人印象深刻——有时甚至超过了人类所能做的.  使用这些模型,我们可以将数据流转化为可操作的决策.  这些数据的来源是传感器,部署在所谓的“边缘”上.”  从钥匙到汽车,我们看到传感器无处不在.

这种预测能力可以借助记忆在The Edge中发挥作用, specifically large memory bandwidth.

Sensors pose an interesting opportunity.  在The Edge,他们可以立即对数据采取行动,而其见解仍然有价值.  然而,《沙巴体育结算平台》充满了挑战,首先是对能量的严格限制.

To take advantage of this opportunity, 我们需要一个既低功耗又快的架构, to keep up with massive, incoming data streams.  同时,我们希望它能够灵活地适应算法随时间的变化.  fpga可以提供快速、适应性强和低功耗的解决方案.

然而,到目前为止,fpga编程一直是一项艰巨的任务.  Normal timelines stretch into months.  由于模型和网络变化频繁,这一漫长的时间限制了FPGA在机器学习中的应用. 美光正在与生态系统合作,以改变这种状况.

美光正在与机器学习专家合作, like FWDNXT, 将机器学习模型无缝转移到fpga上.  Models are first created in the normal way, 使用数据科学家每天使用的软件——caffe, PyTorch or Tensorflow.  这些框架输出的模型然后由FWDNXT的雪花编译器编译到fpga上.

数据科学家可以使用不同类型的网络——从用于图像分析的卷积神经网络(cnn)到用于基于时间模式的循环神经网络(RNNs).

通过专注于获取长“跟踪”数据,FWDNXT实现了高水平的效率——甚至与asic相比也是如此.  你可以在这里阅读更多沙巴体育安卓版下载trace和FWDNXT架构的细节:

http://arxiv.org/abs/1708.02579

其关键思想是从网络层中获取长轨迹的数据,而不仅仅是小矩阵.  数据轨迹可能要长得多,因为它们跨层延伸.  这种方法将可用于计算的数据增加了多达100倍.  FWDNXT将非必要的计算组件隐藏在这些大型工作块后面, 从而提高了AlexNet和GoogLeNet等知名基准测试的效率.

With such large data blocks available, 架构系统的主要特征是内存带宽.  换句话说,将数据移动到FPGA成为限制因素.  再一次,我们正在寻找一种节能,但高带宽的设备.  美光(Micron)的混合记忆体(Hybrid Memory Cube,简称HMC)正是合适的选择。

The Hybrid Memory Cube has 8.带宽是DDR4的5倍,但每比特只消耗30%的能量.

我们已经完成了工作,并将fpga和混合内存立方体结合在我们的 AC-510 UltraScale-based SuperProcessor.

正如你所看到的,这些模块的启动功率只有24瓦.  因此,它们符合The Edge苛刻的功率限制.  对于具有较大功率包的环境, 您可以添加模块来增加分析数据流的模型的数量.

简而言之,当你准备好接受机器学习时,美光已经帮你搞定了——在The Edge!

Brad Spiers

+