您的位置 首页 智能

谷歌开源其GPipe 为满足各领域海量数据处理训练需求

[QQ新闻智能频道]谷歌的人工智能研究部门最近开放了源代码GPipe,这是一个有效训练Lingvo下深层神经网络的库。谷歌人工智能软件工程师黄燕萍在博客文章中表示,它适用于任何多层…

[QQ新闻智能频道]谷歌的人工智能研究部门最近开放了源代码GPipe,这是一个有效训练Lingvo下深层神经网络的库。谷歌人工智能软件工程师黄燕萍在博客文章中表示,它适用于任何多层网络,使研究人员能够轻松衡量绩效。

深度神经网络(DNN)已经提出了许多机器学习任务,包括语音识别,视觉识别和语言处理。较大的DNN模型可以提高任务性能,并且过去视觉识别任务的进步也表明模型大小和分类准确性之间存在很强的相关性。

谷歌
谷歌

正如Huang和他的同事在一篇论文中所说,GPipe实施了两种非常好的人工智能训练技术。一个是同步随机梯度下降,用于更新给定AI模型的s参数;另一种是管道并行,它将一步的输出转换为下一步的输入。

大多数GPipe的性能改进来自于更好的AI模型内存分配,它通过不同的加速器划分模型并自动拆分小批量,这允许内核并行操作并进一步累积微批之间的梯度,从而防止分区从影响模型质量。

在一项实验中,Google在TPU上培训了深度学习算法AmoebaNet-B,其中包含5.57亿个模型参数和样本图像,每个TPU包含18亿个参数。黄说,它在流行的数据集上表现良好。 ImageNet的准确率达到84.3%,CIFAR-10准确率达到99%,CIFAR-100准确率达到91.3%。在另一项涉及AmoebaNet-D算法的测试中,训练速度也得到了提高。

Huang写道,许多实用的机器学习应用程序(如自动驾驶和医学成像)的开发取决于准确性,这需要构建更大,更复杂的模型。我们很高兴能够提供GPipe并希望它能够有效地培训大型DNN。

本文来自网络,不代表QQ新闻网立场,转载请注明出处:http://www.qqmao.cn/zn/27418/

作者: QQnews

为您推荐

发表评论

联系我们

联系我们

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部