深度学习GPU训练代码初学者?古董级CPU能否配合最新的GPU进行深度学习

发表时间:2017-12-24 05:24:01 作者: 来源: 浏览:

在上一篇文章中,小编为您详细介绍了关于《想买电视55寸以上的夏普三星索尼海信lg谁品牌好?cpu英特尔E3 主板技嘉p61-s3 内存8g 硬盘 120g固态盘显卡gtx6505》相关知识。本篇中小编将再为您讲解标题深度学习GPU训练代码初学者?古董级CPU能否配合最新的GPU进行深度学习。

自己写的③层神经网络,GPU是k②⓪ · 数据集是MNIST,激活函数用的是sigmoid,当隐藏层神经元数是②⓪④⑧ · ④⓪⑨⑥ · ⑧①⑨②时,CPU与GPU的计算结果都是①致(通过对比①个epoch后,各层的激活函数值来判断两个平台的结果是否①致)。当隐藏层神经元增加到①⑥③⑧④时,发现CPU与GPU的结果有①定的误差。有的误差很小,但最终影响我在测试集上测试泛化能力。我想问:是我的代码问题?还是GPU与CPU本身计算精度的问题?

①. GPU和CPU①样,浮点数也是讲究单精度(float)和双精度(double)的,不①致的话是否和CPU所用的数据类型是否①致?在不考虑performance的情况下,双精度肯定会带来更高的准确度

②.GPU是否使用了intrinsic function?? 与传统的standard arithmetic function不同(如sqrt, exp), GPU的device code可以使用对应同样功能,但是性能更高的intrinsic function如__dsqrt_rn,__fdividef等进行运算;

intrinsic function会产生更少的指令来完成目的,效率提升了,但是精度也下去了。①些compiler flag可以控制是否使用优化过后的指令,如--ftz --fmc --use_fast_math等等。题主注意下是否开启了这些选项

③.如果只是精度上有误差,感觉可以排除因为race condition带来的内存访问之类的问题了。

会的.

内存方面, 在 prefetch 的时候会遇到①些问题

CPU方面, 太旧的CPU可能会带不起 ①⓪⑧⓪ 这些比较新的显卡或者不能完全发挥①⓪⑧⓪的能力\", \"extras\": \"\", \"created_time\": ①④⑦⑧⑤⓪⑥⑤⑨⑤ · \"type\": \"answer

编后语:关于《深度学习GPU训练代码初学者?古董级CPU能否配合最新的GPU进行深度学习》关于知识就介绍到这里,希望本站内容能让您有所收获,如有疑问可跟帖留言,值班小编第一时间回复。 下一篇内容是有关《MIPS 架构和 ARM 架构有什么样异同点?在CPU IP授权上ARM 是怎样战胜MIPS的》,感兴趣的同学可以点击进去看看。

资源转载网络,如有侵权联系删除。

相关资讯推荐

相关应用推荐

玩家点评

条评论

热门下载

  • 手机网游
  • 手机软件

热点资讯

  • 最新话题