博主信息
Sky
博文
291
粉丝
0
评论
0
访问量
6738
积分:0
P豆:617

Hive基本操作之用户访问次数统计

2021年10月16日 23:49:17阅读数:12博客 / Sky

# 前言

根据对用户ID、访问日期、访问次数的若干条数据,分析得出每个用户的累计访问次数,涉及字符串替换、时间函数、开窗、求和等技术。

## 1. 假如有用户访问数据(用户ID,访问日期,访问次数)

|userId|visitDate|visitCount|

| -- | -- | -- |

|u01|2017/1/21|5|

|u02|2017/1/23|6|

|u03|2017/1/22|8|

|u04|2017/1/20|3|

|u01|2017/1/23|6|

|u01|2017/2/21|8|

|u02|2017/1/23|6|

|u01|2017/2/22|4|

## 2. 希望得到每个月用户的访问累计次数

|用户id|月份|小计|累积|

| -------- | -------- | -------- | -------- |

|u01|2017-01|11|11|

|u01|2017-02|12|23|

|u02|2017-01|12|12|

|u03|2017-01|8|8|

|u04|2017-01|3|3|

## 3. 启动hive,选库,建表

```

create table action

(userId string,

visitDate string,

visitCount int)

row format delimited fields terminated by "\t";

```

## 4. 将数据导入表

```

load data local inpath '/data/action.dat' into table action;

```

## 5. 转换日期字符串为标准格式

```

select

userId,

date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,

visitCount

from

action;

```

|userid|mn|visitcount|

| -- | -- | -- |

|u01|2017-01|5|

|u02|2017-01|6|

|u03|2017-01|8|

|u04|2017-01|3|

|u01|2017-01|6|

|u01|2017-02|8|

|u02|2017-01|6|

|u01|2017-02|4|

## 6. 计算买手机游戏地图每人单月访问量

```

select

userId,

mn,

sum(visitCount) mn_count

from

(select

userId,

date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,

visitCount

from

action) as t1

group by

userId,mn;

```

|userid|mn|mn_count|

| -- | -- | -- |

|u01|2017-01|11|

|u01|2017-02|12|

|u02|2017-01|12|

|u03|2017-01|8|

|u04|2017-01|3|

## 7. 按月累计访问量

```

select

userId,

mn,

mn_count,

sum(mn_count) over(partition by userId order by mn)

from (select

userId,

mn,

sum(visitCount) mn_count

from

(select

userId,

date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,

visitCount

from

action) as t1

group by

userId,mn) as t2;

```

|userid|mn|mn_count|sum_window_0|

| -- | -- | -- | -- |

|u01|2017-01|11|11|

|u01|2017-02|12|23|

|u02|2017-01|12|12|

|u03|2017-01|8|8|

|u04|2017-01|3|3|

# The End

版权申明:本博文版权归博主所有,转载请注明地址!如有侵权、违法,请联系admin@php.cn举报处理!

全部评论

文明上网理性发言,请遵守新闻评论服务协议

条评论
  • 读取对象属性和访组项是常见的。销毁分配使这些变得更加轻松和简洁。在文中,除了外,我还将介绍JavaScript中5种有趣的解构法。
    NFS允许在多个间共享公共文件系,并提供据集中的优势,来最小化所需的存储空间。NFS可于不同类型算机、、网络架构和传输协议运行环境中的网络文件远程访和共享。
    据库管理系属于“系软件”。
    据库实例是程序,是位于间的一层据管理软件,是访据库的通道;据库中的据做任何的,包括据定义、据查询、据维护、据库运行控制等等都是在据库实例下进行的,应程序只有通过据库实例才能和据库打交道
    算机是一种算机系中必不可少的系软件。
    编译程序属于系软件。
    sql的纵功能主要包括据的插入、删除、修改和查询。
    sql语言具有的三个常见功能是:1、据定义;能够定义据库的三级模式结构,即外模式、全局模式和内模式结构。2、纵;包括对表和视图的据插入、删除、修改和查询功能。
    项目需求随着算机的普及和应水平的提高,经过考察比较,决定利自己的Java知识开发小型的图书管理系,方便图书的管理。 图书管理系是典型的信息管理系