图1:业务数据分析各流程常用工具
Excel
SQL
写SQL是数据分析师的基础要求,多数数据来源于数据库,在数据获取和数据清理环节都会用到SQL。写好SQL需要回答2个问题:1.数据从哪儿来?2.如何提取?
1.数据从哪儿来?
图2:滴滴顺风车实时数仓架构图
来源于滴滴技术公众号-《实时数仓在滴滴的实践和落地》
2.如何提取?
在熟悉数据表结构后,要实现日常的数据提取和分析,需要熟悉基本的查询语句结构及函数,包括select、distinct、where、and&or、order by、insert、update、delete等。
select -- 查找 column1 , column2 , Sum(column3) -- 函数 from table -- 来自table where column1 = vluse -- 条件 group by -- 分组 column1 , column2 order by column1 desc -- 排序
分类 | 解释 | HIVE | SQL Server |
日期函数 | 当前日期 | current_date() | getdate( ) |
日期函数 | 自定义日期 | date_format(date,'YYY-MM-DD') | format(date,'YYY-MM-DD') |
日期函数 | 判断日期周数 | weekofyear(date) | datepart(wk,date) |
日期函数 | 周几 | pmod(datediff(current_date(),'1900-01-08'),7) | datename(weekday,date) |
日期函数 | 当月最后一天 | last_day(current_date()) | EOMONTH([DATE]) |
图3:案例 - 流数据库部分语法差异整理 - 个人总结
可视化
光环大数据的Tableau系列课程
其他工具 - 进阶及加分项
全部评论
(0) 回帖