当前位置：首页 >  智能电子

mapreduce合并小文件

发布时间：2024-11-03 22:00:35

MapReduce编程场景之小文件合并

小文件的优化无非以下几种方式：

1. 在数据采集的时候，就将小文件或小批数据合成大文件再上传 HDFS

2. 在业务处理之前，在 HDFS 上使用 MapReduce 程序对小文件进行合并

3. 在 MapReduce 处理时，可采用 CombineFileInputFormat 提高效率

查看更多相关的资讯

《mapreduce合并小文件》不代表本网站观点，如有侵权请联系我们删除

精彩推荐

精彩推荐

点击排行

全数码 广州小漏斗信息技术有限公司 版权所有 粤ICP备20006251号

联系我们 关于我们 版权申明