当前位置:首页 > 数据库 > mysql collect

mysql collect

2022年09月16日 11:49:37数据库12

hive> SELECT userid ,Sequnce ,ActionTime  FROM T_BZ_ClientActionLog GROUP BY Sequnce ,ActionTime limit 100;

FAILED: SemanticException [Error 10025]: Line 1:7 Expression not in GROUP BY key 'userid'

userid被要求也处在group by分组字段里面。

这个不同于mysql语句,mysql这样写是没有问题的。

以下是处理方法; hive> SELECT sequnce,actiontime,

collect_set(pagecode),collect_set(actioncode) FROM T_BZ GROUP BY Sequnce ,ActionTime limit 100;

Total jobs = 1

Launching Job 1 out of 1

Number of reduce tasks not specified. Estimated from input data size: 1

In order to change the average load for a reducer (in bytes):

set hive.exec.reducers.bytes.per.reducer=

In order to limit the maximum number of reducers:

set hive.exec.reducers.max=

In order to set a constant number of reducers:

set mapreduce.job.reduces=

Starting Job = job_1407387657227_0043, Tracking URL = http://n1.hadoop:8089/proxy/application_1407387657227_0043/

Kill Command = /app/prog/hadoop/bin/hadoop job  -kill job_1407387657227_0043

Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1

2014-08-07 20:07:12,881 Stage-1 map = 0%,  reduce = 0%

2014-08-07 20:07:24,192 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 18.84 sec

2014-08-07 20:07:29,347 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 20.71 sec

MapReduce Total cumulative CPU time: 20 seconds 710 msec

Ended Job = job_1407387657227_0043

MapReduce Jobs Launched:

Job 0: Map: 1  Reduce: 1   Cumulative CPU: 20.71 sec   HDFS Read: 96397668 HDFS Write: 6969 SUCCESS

Total MapReduce CPU Time Spent: 20 seconds 710 msec

OK

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:20:33     []      ["A0001"]

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:20:37     ["P001"]        ["A0001"]

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:20:45     ["P003","P001"] ["A0002","A0001"]

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:21:07     ["P003"]        ["A0011"]

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:21:11     ["P003","P001"] ["A0017","A0001"]

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:21:13     ["P001","P002"] ["A0003","A0001"]

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:21:22     ["P002"]        ["A0006"]

可以看到结果的一个集合。

当然如果不想得到集合,可以这样写,获取集合的第一个元素::

hive> SELECT sequnce,actiontime,collect_set(pagecode)[0],collect_set(actioncode)[0] FROM T_BZ GROUP BY Sequnce ,ActionTime limit 100;

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:20:33             A0001

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:20:37     P001    A0001

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:20:45     P003    A0002

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:21:07     P003    A0011

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:21:11     P003    A0017

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:21:13     P001    A0003

00015a21-ef6d-4f05-b04e-ffd98fab2922    2014-07-24 01:21:22     P002    A0006

这样的结果就和mysql一致了。

当然如果不想去重还可以使用collect_list处理,这两个函数是HIVE的UDF函数。

作者:何谨
来源链接:https://blog.csdn.net/weixin_30824577/article/details/113142377

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/database/41675.html

标签: group by
分享给朋友:

“mysql collect” 的相关文章

MySQL中 (GROUP BY 用法)和(ORDER BY用法)

MySQL中 (GROUP BY 用法)和(ORDER BY用法)

一、GROUP BY(分组) 例子: SELECT sum(id) as aa_id, max(id) as m_id, message FROM device_shadow_log GROUP BY message ORDER BY aa_id DESC 1...

mysql group by 用法解析(详细) + mysql distinct 去重

这篇文章写的很好。 转自:http://blog.tianya.cn/blogger/post_read.asp?BlogID=4221189&PostID=47881614   在使用mysql时,有时需要查询出某个字段不重复的记录,虽然my...

MySQL的分组查询group by

group by (1)、group by的含义:将查询结果按照1个或多个字段进行分组,字段值相同的为一组。 (2)、group by可用于单字段分组,也可用于多个字段分组。 复制代码select * from employee; +----...

group by分组筛选

我们在MySQL做查询时,经常需要用到 group by 分组来筛选查询 相信做后端的朋友应该遇到过,有时候需要对分组的结果再进行过滤,这时候where用不了,那么该如何解决呢? 解决方法: 用 having 处理,即having后面接筛选的条件,写法的wher...

mysql group by 用法解析(详细)

group by 用法解析 group by语法可以根据给定数据列的每个成员对查询结果进行分组统计,最终得到一个分组汇总表。 SELECT子句中的列名必须为分组列或列函数。列函数对于GROUP BY子句定义的每个组各返回一个结果。 某个员工信息表结构和数据如下:   i...

oracle group by执行慢,一次对group by时间导致的慢查询的优化

oracle group by执行慢,一次对group by时间导致的慢查询的优化

前言: 最近在测试环境中点击一个图表展示页面时,半天才得到后台响应的数据进行页面渲染展示,后台的响应很慢,这样极大的降低了用户的体验; 发现这个问题后马上进行了排查 ,通过排查发现是由一个查询很慢的 group by 语句导致的; 本文...

SQL: select非group by的字段

使用group by查找或删除重复行,请参考    SQL:查找或删除重复行 在含有Group by子句的查询语句中,对select关键字后的目标列,存在以下规律 使用group by 时,select 涉及的列要么是参...

优化 Group By -- MYSQL一次千万级连表查询优化(转)

优化 Group By -- MYSQL一次千万级连表查询优化(转)

概述: 交代一下背景,这算是一次项目经验吧,属于公司一个已上线平台的功能,这算是离职人员挖下的坑,随着数据越来越多,原本的SQL查询变得越来越慢,用户体验特别差,因此SQL优化任务交到了我手上。  这个SQL查询关联两个数据表,一个是攻击IP用户表主要是记录IP的...

mysql group 遍历

原创: 管长龙 译作者:Peter Zaitsev 在日常查询中,索引或其他数据查找的方法可能不是查询执行中最高昂的部分,例如:MySQL GROUP BY 可能负责查询执行时间 90% 还多。MySQL 执行 GROUP BY 时的主要复杂性是计算 GROUP...

MySQL GROUP BY 语句使用总结

MySQL GROUP BY 语句使用总结

MySQL GROUP BY 语句使用总结 大家好,我是Yangrl. 总结一下MySQL中查询记录操作中的GROUP BY语句,查遗补漏。 表名:testusers,字段记录如图,以前create的直接拿来用,将就一下。(懒即生产力)...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。