大数据里spark和hadoop的mr相比有哪些优势,能否用较通俗的语言解释一下?

1

spark是内存计算框架,而mr是离线计算框架。因此,与mr相比,spark计算速度更快,尤其是迭代运算。spark进行计算时,会将中间结果缓存在内存里,当需要再次使用时,不需要从磁盘读取数据。而mr需要将中间结果写入磁盘,再次使用时需要从磁盘重新读取。磁盘i/o通常十分耗时。

除了离线计算速度更快以外,spark比mr适用场景更多,spark的streaming模块可以实现实时或近线流式计算。

此外,sparksql可以让你方便的使用sql来分析数据。

2

你好,很开心收到来你的问题。

希望我的矿可以帮到你,欢迎留言评论或私信交流。

关于作者: 网站小编

码农网专注IT技术教程资源分享平台,学习资源下载网站,58码农网包含计算机技术、网站程序源码下载、编程技术论坛、互联网资源下载等产品服务,提供原创、优质、完整内容的专业码农交流分享平台。

热门文章