Hive进阶―抽样的各种玩法
抽样 抽样在Hive 中也是比较常用的一种手段,主要用在下面的几个场景中 一些机器学习的场景中,数仓作为数据的提供方提供样本数据 数据的计算结果异常或者是指标异常,这个时候如果我们往往需要确认数据源的数据是否本身就有异常 SQL的性能有问题的时候我们也会使用抽样的方法区查看数据,然后进行SQL调优 在大规模数据量的数据分析及建模任务中,往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源,因此一般情况下只需要抽取一小部分数据进行分析及建模操作。 随Hi机抽样(rand()函数) 我们一般情况下是使用排序函数和rand() 函数来完成随机抽样,limit关键字限制抽样返回的数据,不同之处再有我们使用哪个排序函数呢 利用 rand() 函数进行抽取,这是因为rand() 返回一个0到1之间double 类型的随机值。 下面我们用到了前面我们使用过的一张表大概4603089 条记录,这里我就不给大家准备数据了,大家可以看Hive进阶之数据存储格式来获取测试数据 create table ods_usveer_bucket_log( id int, name string, city string, phone string, &进阶nbsp; acctime string) CLUSTERED BY (`id` ) INTO 5 BUCKETS row format delimited fields terminated by ' ' stored as&n―抽bsp;textfile; insert overwrite table ods_user_bucket_log select * from ods_user_log; order by rand() order by只会启用一个reduce所以比较耗时,至于为什么我们在前面的文章中解释过了Hive语法之常见排序方式 因为order by 是全局的,所以可以做到随机抽样的样的目的 select * from ods_user_bucket_log order by rand() limit 10; sort by rand() sort by 提供了单个 reducer 内的排序功能,但不保证整体有序,这个时候其实不能做到真正的随机的,因为此时的随机是针对分区去的,所以如果我们可以通过控制进入每个分区的数据也是随机的话,那我们就可以做到随机了 s各种elect * from ods_user_bucket_log sort by rand() limit 10; distribute by rand() sort by rand() rand函数前的distribute和sort关键字可以保证数据在mapper和reducer阶段是随机分布的,这个时候我们也能做到真正的随机,前面我们也介绍过cluster by 其实基本上是和玩法distribute by sort by 等价的 select * from ods_user_bucket_log distribute by rand() sort by rand() limit 10; cluster by rand() cluster by 的功能是 distribute by 和 sort by 的功能相结合,distribute byHi rand() sort by rand() 进行了两次随机,cluster by rand() 仅一次随机,所以速度上会比上一种方法快 select * from ods_user_bucket_log cluster by rand() limit 10; tablesample()抽样函数 分桶抽样(桶表抽样) hive中分桶其实就是根据某一个字段Hash取模,放入指定数据ve的桶中,比如将表table按照ID分成100个桶,其算法是hash(id) % 100,这样,hash(id) % 100 = 0的数据被放到第一个桶中,hash(id) % 100 = 1的记录被放到第二个桶中。 分桶抽样语法: TABLESAMPLE (BUCKET x OUT OF y [ON colname]) 其中x是要抽样的桶编号,桶编号从1开始,colname表示抽样的列(也就是按照那个字段分桶),y表示桶的数量。所以表达的意思是按照colname字段分成y桶,抽取其中的第x桶 S进阶ELECT * FROM ods_user_bucket_log TABLESAMPLE (BUCKET 1 OUT OF 100000 ON rand()) ; 数据块抽样 从 Hive 0.8 开始提供块抽样,使用 tablesample 抽―抽取指定的 行数/比例/大小 SELECT * FROM ods_user_data TABLESAMPLE(1000 ROWS); SELECT * FROM ods_user_data TABLESAMPLE (20 PERCENT); SELECT * FROM ods_user_dat样的a TABLESAMPLE(1M); 按比例抽样 ABLESAMPLE (20 PERCENT) 这将允许 Hive 至少获取 n%的数据 SELECT * FROM ods_user_bucket_log TABLESAMPLE(0.0001 PERCENT); 抽取特定大小的数据各种TABLESAMPLE(100M) SELECT * FROM ods_user_bucket_log TABLESAMPLE(1M); 需要注意的是这里必须是整数M ,以为我尝试零点几的时候报错了 抽取特定的行数 TABLESAMPLE(10 ROWS) SELECT &n玩法bsp;* FROM ods_user_bucket_log TABLESAMPLE(10 rows);
- 最近发表
- 随机阅读
-
- 云安全日报201204:Apache Tomcat应用服务器发现信息泄露漏洞,需要尽快升级
- 谷歌成2028洛杉矶奥运会官方云服务商,AI 将全面助力赛事体验升级
- 在 Kubernetes 上部署一个深度学习模型
- Google的新工具可帮助用户找到废弃的云项目并删除
- 云安全日报210202:思科互联网产品和网络解决方案发现特权升级漏洞,需要尽快升级
- OpenAI瑙f暎鏈哄櫒浜哄洟闃燂紝鏇捐瘯鍥鹃€燗GI鏈哄櫒浜猴紝鍒涘�浜猴細鏈€濂界殑鍐冲畾
- 标签: 众擎机器人 小鹏鹏行 李力耘 赵同阳
- 火狐 Firefox 150 版本重磅发布,AI 助力发现 271 个安全漏洞!
- 标签: 苹果 MacBook Pro 酷态科 智己LS8
- 多云管理:技术、人员、流程面临的挑战
- 标签: 领克900 日冕金 全尺寸SUV
- 618如何做到分钟级送达 京东云给出了答案
- 标签: 飞猪 租车自驾游 新能源车 舒心租
- 标签: 特朗普 AI监管 联邦框架
- 松延动力人形机器人“小布米Bumi”京东开售 售价9998元
- 标签: 雷军 小米 徐洁云 KOL
- 标签: 月之暗面 张予彤 杨植麟 Kimi
- 贝索斯4.05亿美元押注机器人大脑:FieldAI欲造万能AI,从人形机器人到自动驾驶全面统治
- 英特尔发布四季度财报后股价尾盘飙升 预计PC需求量依旧强劲
- 腾讯全新AI绘画升级!微调技术让生成图像美感提升300%
- 搜索
-
- 友情链接