首页 > 数据分析工具有哪些?(大厂面试必备)
头像
leviholmes
发布于 2021-07-27 22:43
+ 关注

数据分析工具有哪些?(大厂面试必备)

大家好,我是爱踢球的阳仔。上期我们聊了业务分析师首先要了解业务,本期我们来聊聊业务数据分析师能力模型的第二项 - 数据分析工具。
所谓“工欲善其事必先利其器” ,一件称手的工具能够让我们事半功倍。
对于业务数据分析师来说,数据分析流程主要包括[数据获取]、[数据清洗]、[统计分析]、[数据可视化] 4部分。其中最常用的组合是 SQL + Excel + 可视化软件。

图1:业务数据分析各流程常用工具


Excel

Excel是最实用的综合数据工具,但是在实际生活中,Excel的真正被大家使用的只是一小部分。
函数、透视表可解决大部分问题; Power Query + Power Pivot可实现数据清洗及数据建模自动化;数据分析工具库可快速实现回归、方差分析、相关分析等常用统计分析。
如果Excel基础一般,建议先去刷两遍 【王佩丰Excel实战课】,可以帮你解决大部分问题,网易云课堂有免费课。
如果常用Excel做周期报告的话,推荐学习Power Query + Power Pivot。
Power Query是Excel插件,也是Power BI的组件。提供了对各类型源数据的链接及预处理工作。Power Pivot可以处理查询、执行计划的数据刷新,结合数据透视、切片器和筛选器,可以做数据可视化和交互。
一般情况下,Power Query和Power Pivot是一起使用的,前者负责数据连接和清洗,后者进行计算和分析。可以报个小课系统学习,或者看看公开资料。

SQL

写SQL是数据分析师的基础要求,多数数据来源于数据库,在数据获取和数据清理环节都会用到SQL。写好SQL需要回答2个问题:1.数据从哪儿来?2.如何提取?

 

1.数据从哪儿来?

写好SQL的前提是熟悉数据表结构,简单来说就是数据从哪里获取,需包括数仓结构、各层内容、数据表的命名规则、数据计算周期等。熟悉公司数据表结构并不是个简单的事情,需要循序渐进。建议首先搞清楚常用的指标来源哪些表,再去熟悉公司数仓架构,最后结合工作需求逐渐学习其他数据模块的内容 。


图2:滴滴顺风车实时数仓架构图

来源于滴滴技术公众号-《实时数仓在滴滴的实践和落地》

2.如何提取?

在熟悉数据表结构后,要实现日常的数据提取和分析,需要熟悉基本的查询语句结构及函数,包括select、distinct、where、and&or、order by、insert、update、delete等。

select 			        -- 查找    
  column1    
  , column2    
  , Sum(column3)		-- 函数
from table			    -- 来自table
where column1 = vluse	-- 条件
group by 			    -- 分组    
  column1    
  , column2
order by column1 desc   -- 排序

当数据量过大或数据结构复杂的时候,简单的数据提取就不能满足需求,需要掌握高阶语法(多表链接、子查询、开窗函数、多维度汇总、正则表达式等)。同时还需要了解Access,Oracle,Mysql,SQL Server,DB2等主流数据库的语法差异,建议做一个表整理常用函数的差异。

分类

解释

HIVE

SQL Server

日期函数

当前日期

current_date()

getdate(  )

日期函数

自定义日期

date_format(date,'YYY-MM-DD')

format(date,'YYY-MM-DD')

日期函数

判断日期周数

weekofyear(date)

datepart(wk,date)

日期函数

周几

pmod(datediff(current_date(),'1900-01-08'),7)

datename(weekday,date)

日期函数

当月最后一天

last_day(current_date())

EOMONTH([DATE])

 图3:案例 - 流数据库部分语法差异整理 - 个人总结


网络上有很多SQL的免费学习资料,例如W3school SQL教程、SQL 教程 | 菜鸟教程,可做入门课程。还可以利用好身边的大佬资源,喝杯咖啡聊聊遇到的问题。

 

可视化

数据可视化是将数据分析结果转化为图表的过程,数据可视化的终极目标是洞悉蕴含在数据中的现象和规律,这里面有多重含义:发现、决策、解释、分析、探索和学习。今天我们仅从工具使用角度谈谈可视化。
现在市面上的数据可视化工作很多,但基本逻辑都是相通的。建议先吃透一两种工具,Power BI是比较合适入门的数据可视化工具。需要掌握各个数据源链接的方法、表计算及函数、各类图表绘制。
Power BI属于微软做的一个专门做数据分析的商业智能软件,对于常用Excel的分析师来说学习上手也相对容易。
B站上PowerBI基础入门的学习视频地址:
B站上PowerBI进阶的学习视频地址:
Tableau功能和Power BI类似,网易云课堂 - 光环大数据的Tableau系列课程(免费),清华出版社出版的《Tableau数据可视化从入门到精通》、《精通Tableau商业数据分析与可视化》。

光环大数据的Tableau系列课程



其他工具 - 进阶及加分项

数据分析的工具也是不断进化发展的,需要根据公司业务情况进行选择。比如做市场研究、竞对分析经常会使用Python进行外部数据的抓取,统计分析领域常用到SPSS,以及调用地图开放平台进行地图可视化绘制。
在数据分析工作中,分析工具和分析方法是密不可分的,科学的方法结合高效的分析工具使用,才能提高分析效率和质量。下一期我会讲讲业务数据分析师的日常工作中的分析场景及分析方法。

这次就分享到这里,想参加腾讯秋招、社招的小伙伴可以加我v15201344924。

更多模拟面试

全部评论

(0) 回帖
加载中...
话题 回帖

推荐话题

相关热帖

近期精华帖

热门推荐