在上一篇文章中,小编为您详细介绍了关于《设计师谈英雄趣味性 笨重型的存在价值》相关知识。本篇中小编将再为您讲解标题OpenAI追踪AI模型效率:每16个月翻一番!超越摩尔定律。
原标题:OpenAI追踪AI模型效率:每16个月翻一番!超越摩尔定律
智东西(公众号:zhidxcom)编 | 储信仪
导语:OpenAI提出衡量机器学习算法进展的基准测试方法,算法效率每16月翻一番,吊打摩尔定律!
智东西5月6日消息,昨日,OpenAI宣布将开始追踪效率最高的机器学习模型,该举措推出了新的评价指标,可用以量化模型的扩展规模和整体性能,从而可实时公示效率最高的模型,为行业提供参考。
在前期调查期间,该公司发表了一份分析报告,指出与2012年相比,2019年的神经网络训练到AlexNet水准所需的计算量减少到原来的1/44,相比之下,摩尔定律在相同时间内效率的增长只有11倍。这表明算法效率在7年的时间里每16个月翻一番。
分析结果表示,对于大量“吸金”的AI任务,算法效率的提升比传统的硬件效率提升的速度更快,因此算法可节省更多算力,以此节省AI任务的运行成本,产生更多收益。
推动人工智能发展的有三个因素:算法创新、数据和算力。传统上,算法的进展比算力和数据更难量化。算法效率可以被定义为减少训练特定功能所需的计算量。效率是衡量经典计算机科学问题(如排序)的算法进度的主要方法。
OpenAI表示,除了关注时下最新的最佳AI模型之外,公开衡量效率将描绘出算法进展的定量情况。这将通过重新关注AI的技术属性和社会影响,为决策制定提供依据。
OpenAI在博客中写道:“算法改进是推动AI发展的关键因素。尽管这比度量计算趋势更难,但寻找能够反映整体算法进展的度量是很重要的。”算法效率的提高使得研究人员可以在给定的时间和预算内进行更多有趣的实验。分析表明,决策者应该增加对学术界计算资源的资助,以便学术研究成果能够复制、再生以及扩展行业研究。
▲OpenAI观察到16个月AI模型的效率倍增时间(任意给定时间的最低计算点用蓝色表示,测量点用灰色表示)
OpenAI表示,在调查过程中,它发现谷歌的Transformer架构超越了以前由谷歌开发的最先进的模型——seq2seq,在seq2seq引入三年后,其计算量减少至原来的1/61。DeepMind的AlphaZero系统,从零开始自学如何掌握国际象棋、围棋和日本将棋,一年后,它的计算量比该系统的前身AlphaGoZero的改进版少至1/8。而仅三个月后,OpenAI自己的Dota2玩法Rerun运行所需的训练计算就减少至1/5,从而超过了基于OpenAI Five的模型。
▲AI“Rerun”和“OpenAI Five”对战
OpenAI从对集成电路中晶体管数量每两年翻一番的现象推测,算法效率带来的收益可能会超过摩尔定律。OpenAI表示:“新功能通常需要大量的计算才能获得,由于流程改进,这些功能的改进版本部署起来会更有效率。”
▲AI计算趋势及结果整合
作为基准测试工作的一部分,OpenAI表示将从视觉和翻译效率基准(特别是ImageNet和WMT14)开始,并考虑随着时间的推移增加更多基准。测试工作不允许使用人为字幕、其他图像或其他数据,但是对用于翻译或增强的训练数据没有任何限制。
OpenAI表示:“行业领袖、决策者、经济学家和研究人员都在努力更好地了解AI的发展进步,并决定他们应该投入多少注意力,以及把注意力放在哪里。测量工作可以帮助做出这样的决定。”
论文研究指出,研究者观察到硬件和算法的效率在有意义的范围内提高了一倍,这表明,一个好的AI进展模型应该整合两者的度量。除此之外,研究人员还观察到,以指数速度训练高兴趣任务的AI模型比摩尔定律训练成本更低。
OpenAI并不是第一个公开提出对AI模型的效率进行基准测试的公司。去年,卡内基梅隆大学(Carnegie Mellon University)、艾伦人工智能研究所(Allen Institute for AI)和华盛顿大学(University of Washington)的科学家们主张,除了准确性和相关衡量标准外,还应将效率作为AI学术论文更普遍的评估标准。其他的建议则要求针对机器学习项目进行行业级别的能量分析,以及以瓦为单位的计算标准进行评估。
声明链接:https://openai.com/blog/ai-and-efficiency/
Github链接:https://github.com/openai/ai-and-efficiency
论文链接:https://cdn.openai.com/papers/ai_and_efficiency.pdf
结语:AI服务和技术逐渐强大
OpenAI开始公开追踪AI模型效率,其模型的量化呈现可实时进行效率公示,为行业提供参考,选择更为适合的效率提升方式。
算法改进是推动AI发展的关键因素,AI算法效率倍增,计算量成倍减少,算法效率收益极大提升。算法效率的提高为AI技术的提高创造了条件,这意味着我们正面临AI技术无比强大的未来。
消息来源:VentureBeat;OpenAI游戏网
编后语:关于《OpenAI追踪AI模型效率:每16个月翻一番!超越摩尔定律》关于知识就介绍到这里,希望本站内容能让您有所收获,如有疑问可跟帖留言,值班小编第一时间回复。 下一篇内容是有关《31家巨头组联盟:防止任何一家公司独霸5G市场》,感兴趣的同学可以点击进去看看。
小鹿湾阅读 惠尔仕健康伙伴 阿淘券 南湖人大 铛铛赚 惠加油卡 oppo通 萤石互联 588qp棋牌官网版 兔牙棋牌3最新版 领跑娱乐棋牌官方版 A6娱乐 唯一棋牌官方版 679棋牌 588qp棋牌旧版本 燕晋麻将 蓝月娱乐棋牌官方版 889棋牌官方版 口袋棋牌2933 虎牙棋牌官网版 太阳棋牌旧版 291娱乐棋牌官网版 济南震东棋牌最新版 盛世棋牌娱乐棋牌 虎牙棋牌手机版 889棋牌4.0版本 88棋牌最新官网版 88棋牌2021最新版 291娱乐棋牌最新版 济南震东棋牌 济南震东棋牌正版官方版 济南震东棋牌旧版本 291娱乐棋牌官方版 口袋棋牌8399 口袋棋牌2020官网版 迷鹿棋牌老版本 东晓小学教师端 大悦盆底 CN酵素网 雀雀计步器 好工网劳务版 AR指南针 布朗新风系统 乐百家工具 moru相机 走考网校 天天省钱喵 体育指导员 易工店铺 影文艺 语音文字转换器