您好,欢迎来到汇智旅游网。
搜索
您的当前位置:首页hive排序函数四个by的总结

hive排序函数四个by的总结

来源:汇智旅游网

order  By(全局排序) :一个reducer,执行一个job。Total Job=1,可以在运行日志中看到:number of reucers=1.用在select语句的后面。

sort By(分区内排序):每个reducer内部进行排序,对全局结果集来说不是排序。随机分区,防止数据倾斜。①设置reduce个数。set mapreduce.job.reducers=3;②查看reduce个数。set mapreduce.job.reducers;

distribute By(分区排序):类似于map中的partition,进行分区,结合sort By使用,使用时多配置reduce进行处理。

cluster By():当distribute By 和sort By字段相同时,可以使用cluster By的形式。排序只能倒序排序,不可指定。

 

 

 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- hzar.cn 版权所有 赣ICP备2024042791号-5

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务