导航菜单

技术新进展!谷歌AI部门宣布发现新技术以加速AI神经网络训练

0×251C

人工智能加速器硬件,如谷歌的张量处理器(TPU)和英特尔的Nervana神经网络处理器,预计将加速人工智能模型的训练,但由于芯片的结构,训练管道的早期阶段(如数据预处理)处理)不会从升级中受益。

这就是为什么谷歌大脑(谷歌人工智能研究部门)的科学家最近在一篇论文中提出了一种称为“数据回音”的技术。

TPU、神经网络和神经网络

TPU是一种高速定制机器学习芯片,由公司于2016年5月在IO开发者大会上首次推出。搜索、街景、照片、翻译和谷歌提供的服务都使用谷歌的TPU(张量处理器)来加速背后的神经网络计算。

据说,TPU的性能提高了15-30倍,效率(性能瓦)提高了30-80倍。

TPU设计封装了神经网络计算的本质,可编程用于各种神经网络模型。

在1月份的CES 2019展会上,英特尔发布了Nervana系列神经网络处理器的最新型号,NNP-I,适用于加速企业级高负载推理任务,计划今年投产。

据称,英特尔的神经网络处理器在训练任务中的速度是其竞争对手GPU的十倍。

Facebook是英特尔的合作伙伴之一,7月3日,英特尔还宣布将与百度合作开发英特尔Nervana神经网络训练处理器(NNP-T)。这种合作将成为一种新的定制加速器,以实现速度训练深度学习模型的目标。

数据响应技术

研究人员表示,目前性能最佳的数据响应算法可以使用较少的上游处理来匹配基线预测性能,并且在某些情况下,可以使输入流水线偏移4倍。

“训练神经网络不仅需要在加速器上运行良好的操作,因此我们不能仅依靠加速器改进来在所有情况下继续加速,”该共同作者说。

神经网络训练程序可能需要读取和解压缩训练数据,清理,批处理,甚至转换或扩展它。

这些步骤可用于多个系统组件,包括cpu,磁盘,网络带宽和内存带宽。

在典型的训练课程中,人工智能系统首先读取和解码输入数据,然后重新组织数据,通过一组转换对其进行扩充,将样本收集到批处理中,并迭代更新参数以减少错误。

研究人员的数据响应技术在管道中插入一个阶段,在参数更新之前重复前一阶段的输出数据,从理论上恢复空闲计算能力。

在实验中,团队使用在开源数据集上训练的AI模型来评估两种语言建模任务,两种图像分类任务和一种目标检测任务的数据响应。

他们将培训时间测量为达到目标所需的“新鲜”培训示例的数量,并检查数据响应是否可以减少所需示例的数量。

共同作者报告说,除了一个例外,在所有情况下,数据响应所需的新实例和培训都比基线少。

此外,他们注意到先前的响应在处被插入到训练会话中,即,在数据增强之前,与批次相比需要更少的新样本,并且在更大的批量大小时响应性能更大。偶尔更好。

团队编写了:“当训练管道遇到上游某个阶段的瓶颈时,所有数据响应变量至少具有与基线相同的性能.(这)是一种提高硬件利用率的简单策略。”

“数据响应是优化培训管道或添加额外工作人员以执行上游数据处理的有效替代方案,这可能并不总是可行或不可取。”

以前,谷歌的神经网络有很多其他应用程序。麻省理工学院和谷歌人工智能实验室的研究人员提出了一种自动解密丢失文本的神经网络算法。该算法首次自动翻译了古希腊迈锡尼文明的“线性B”,准确地将67.3%的线性B同系体转化为希腊文。

谷歌还训练了两个神经网络,在嘈杂的环境中分离目标人声。