欢迎来到noYes游戏王国
网站导航
在上一篇文章中，小编为您详细介绍了关于《通过ipo“一夜暴富”的都有哪些企业？Snap IPO每股17美元》相关知识。本篇中小编将再为您讲解标题既然Spark比Hadoop性能好很多？spark的MEMORY_AND_DISK用途。
既然Spark比Hadoop性能好很多，Hadoop可不可以从Spark中借鉴①些技术，可以借鉴哪些技术，未来Hadoop可不可能达到与Spark类似的水平？
Impala比Spark性能还要好，但你看它现在这个鸟样。
认真来讲，Hadoop现在分③块HDFS/MR/YARN，Spark比Hadoop性能好，只是Spark作为①个计算引擎，比MR的性能要好。但它的存储和调度框架还是依赖于HDFS/YARN，Spark也有自己的调度框架，但仍然非常不成熟，基本不可商用。
目前来看，YARN在Hadoop的发展过程中占的比重较多，而且作为①个调度和资源管理框架，它可以兼容多计算框架。而且现在大数据领域的框架底层存储基本都依赖于HDFS，这也就是为什么很多文章开头就说“Hadoop已经是大数据领域的事实标准”。
回到问题，大数据领域，“性能”可能并不是衡量①个大数据组件的唯①标准，安全、可靠性、与其他框架的兼容性、资源管理、可扩展性同样很重要，而Hadoop作为大数据领域的核心组件，这些方面肯定都需要考虑，而不单单是性能。
--------------------------⑦月①⑥日更新分割线---------------------
Spark And Hadoop Are Friends, Not Foes
这里有①篇文章，大意相同，但阐述更详细①点。
这个需要你自己调整配置了。Spark只能控制cache占用的内存，应用程序自己用的内存不受Spark的控制。从你的描述来看，可能是应用程序使用的内存比较多。你可以考虑把spark.memory.fraction调小①点，让Spark可以更早把cache写到磁盘上，及时释放内存，减少GC时间。
编后语：关于《既然Spark比Hadoop性能好很多？spark的MEMORY_AND_DISK用途》关于知识就介绍到这里，希望本站内容能让您有所收获，如有疑问可跟帖留言，值班小编第一时间回复。 下一篇内容是有关《Java 中一个对象a持有对象b中的静态常量？下面的两种写法有区别么》，感兴趣的同学可以点击进去看看。
小鹿湾阅读 惠尔仕健康伙伴 阿淘券 南湖人大 铛铛赚 惠加油卡 oppo通 萤石互联 588qp棋牌官网版 兔牙棋牌3最新版 领跑娱乐棋牌官方版 A6娱乐 唯一棋牌官方版 679棋牌 588qp棋牌旧版本 燕晋麻将 蓝月娱乐棋牌官方版 889棋牌官方版 口袋棋牌2933 虎牙棋牌官网版 太阳棋牌旧版 291娱乐棋牌官网版 济南震东棋牌最新版 盛世棋牌娱乐棋牌 虎牙棋牌手机版 889棋牌4.0版本 88棋牌最新官网版 88棋牌2021最新版 291娱乐棋牌最新版 济南震东棋牌 济南震东棋牌正版官方版 济南震东棋牌旧版本 291娱乐棋牌官方版 口袋棋牌8399 口袋棋牌2020官网版 迷鹿棋牌老版本 东晓小学教师端 大悦盆底 CN酵素网 雀雀计步器 好工网劳务版 AR指南针 布朗新风系统 乐百家工具 moru相机 走考网校 天天省钱喵 体育指导员 易工店铺 影文艺 语音文字转换器
