首页 > 社招大数据面经
头像
啊猩猩星星
编辑于 2021-03-06 02:18
+ 关注

社招大数据面经

其实距离上次跳槽已经过去了三个月,我已经入职了新东家。今天终于克服懒癌准备一鼓作气发一下社招大数据的面经。
我是牛客的1v1的辅导老师之一星星。哈哈哈,为了证明一下我除了面试别人,自己去面试也还行,也拿自己的经历出来探讨一下。
【面试准备】
刷题:因为毕业比较久了,首先刷LeetCode热了个身。后来发现可能因为真的离应届生比较久了,没怎么考算法。
简历:我一直相信简历是工作经历的总结也是面试的思路,而非简单的一张纸或者说用来过简历评估。所以我简历改了2个星期,面试中间又做了一些改动。
制定招聘策略:
1.关于机会,首先我其实联系了几家猎头,聊了一些,觉得都不靠谱,最后其实是自己靠人脉解决了一半,剩下一半直接招聘网站找对应HR解决的。
2.因为很久没有被面试了,我定了一个梯度策略,先找了几家绝对不会去的小公司。中间试了几个不想去的中等公司。最后面的意向公司。
最后的结果是一共面了9个公司,有一个流程太长了,还有一个风评过于差劲,最后我主动终止了面试,剩下的拿到了offer。涨幅根据公司不同吧,最低40%多,最高110%。其实各家是比较平均的,大概都在75%左右。最高的和最低的都是特殊情况。前者我和面试官差点吵起来了,后者是著名送命公司,还要背井离乡。我还年轻,没有女朋友,就算了。

【面试经验】
为了保护隐私,我就隐去了公司名字和我最终入职的公司面经,还有几个特别重复的也不讲了。我的经历是做业务大数据平台的。java技术栈
【某上市公司】
一面:部门leader(视频面试)1小时多一点
1.如何确定flink任务的合理并行度?
从业务要求开始,根据workload特性,做压力测试,层层解反压,为Vertex找到合理并行度和chain strategy,然后倒推TM配置。聊了压测数据模型和真实生产的业务关系,如何解反压,如何应对IO密集和计算密集。
2.flink任务如何实现端到端一致?
ckp机制讲一下,端到端一致需要上下游配合,上游回放,下游幂等。接下来被follow up,kafka如何实现端到端幂等,两种实现,upsert mode和事务提交。面试官表示很满意,很前沿。。。我就很无语。
3.state的存储机制,主要是rocksdb
读写放大优化,cache优化。我自己实现了外部state存储,内置和外置的区别是啥,为什么要这么做。你怎么解决毛刺和倾斜的
4.实时作业托管平台设计
两种任务,flink dataStream和flink sql。 讲了一下flink on yarn的提交过程。然后讲了一下后台设计。被问到了如何打metric。这个我还真没想过,讲了一下我的了解
5.日志采集的原理讲一下
面试官以前做日志的,就是log agent那一套。用前东家的日志container服务吹了个比,面试官很感兴趣。
6.Presto怎么做的查询优化
讲了一下执行计划和一些内部特性的结合
剩下的问题是和我项目相关的。没考算法
二面:总监 1小时多
现场面试
先问了我最大的一个项目,讲了一下技术点和难点。
然后聊了一下数据技术的发展,对实时,OLAP和存储的看法。
问了一下Mysql大集群维护问题
然后问研发效能,怎么做开发和项目管理的
然后开始聊数据技术和业务的关系,一路扯到公司文化。聊得很开心。坦白讲,这个总监我是很喜欢的,后面公司也非常舍得给钱。可惜技术氛围不够浓厚。
三面:HR 30多分钟 电话面,在前东家楼下的咖啡厅
为什么要离职?
你作为项目owner如何拉通不同人,尤其是不同部门的人的利益的?
如果和你合作的一个更资深同事,他的技术方案你觉得不对,但是对方不肯退步怎么办?
你在工作中是如何帮助别人成长的?
你找工作看中什么因素?
还面了哪些家,有什么倾向?
你的期望薪资?
最后涨了75%。

【一个热门陌生人社交创业公司】
一面:小方向leader(电话面试)1小时
讲项目先过去30多分钟。对方的部门整体水位被碾压。
然后聊了一些数据仓库建模的理论知识
如何设计数仓分层,如何设计维度表,如何设计缓慢变化维,如何避免数据烟囱等等
离线数据产出时间优化

二面:老板 1小时多
现场面试
先让我手写了一个sql,给出用户登录日志,求次日留存。然后想看我能不能把sql映射到执行计划,现场手推了一遍,with 代码块重用,同一个key的shuffle合并。
剩下的非常八股
sql的优化,讲了mysql hive sql和flink sql。全程基本我在说。
kafka消费幂等问题,还有kafka的水平扩展怎么做
hdfs小文件问题。
jvm性能调优和诊断
听了一下我的一个项目
然后我从他眼镜反光看到他在百度了。有点尴尬- -

三面:HR 30多分钟 接上一面现场
为什么要离职?
你期望的工资涨幅?
你的职业发展规划,想做什么?
你薪资期望为啥这么高?
什么时候能到岗?

四面:加面了这家公司的一位VP,电话面试,30分钟
我本来还挺期待的,因为也基本算是马上创业成功的vp了。想好好交流一下,可惜全程他没说什么自己的东西。都是我在说
你在工作中遇到的最大的困难?
你工作之后最大的收获是什么?
你如何看待数据技术和产品,和业务的关系?你如何推动两者的结合和发展?
你对赛道怎么看?对UGC,商业化,社区的看法?
什么时候能到岗?结束

【一个热门的招聘软件创业公司】
简历沟通:
HR提前沟通了一下,我们的工作地点,工作强度很大,能接受么?问我为啥离职,为啥投这个,然后我说我这次要转方向,立马说那我们可能给不了你太高呦。心里不太高兴,想的是反正我也不去,嘴上说可以可以。最后HR介绍了自己的业务,然后约面。

一面:peer面 1小时
面试官百度来的,讲真,这家公司别的不好归别的不好,我同样面试了百度,我觉得这个百度出身的面试官比百度的技术更好。沟通比较好,但是有点套方案
前面上来一堆java八股文。
IO与NIO
JVM和JMM
HashMap和ConcurrentHashMap
然后这里开始Follow Up。给HashMap加TTL,怎么实现
然后两三个架构场景题
Mysql和MongoDB的深翻页性能怎么解决?
我当时也是一蒙,没啥思路,对着引擎就上了,缓存游标啥的。然后讲了一个前东家的异步dump OSS的方案。最后他和我说他想问我用redis,就很尴尬
第二个 redis缓存查询结果,更新的时候怎么做失效
第三个 跨页消重问题
最后一个算法题,说思路
K路归并排序,K很大的时候怎么优化。跳表,败者树
后来发现这家公司的996居然要打卡实行996,少一分钟都不行。加班强度不小,加上HR还有PUA我的倾向,还后面这家公司HR约二面,就找个理由拒绝了。

【一个食堂著称的老牌互联网公司】
hR首先简历沟通:
为啥看机会?
你在哪里工作?
你为啥要换城市?

【一面】
这个岗位是数据仓库。所以上来先让我介绍我的业务和数仓分层
面试官和我业务背景差距特别大,用了很多时间解释我的业务场景
然后业务过程设计,粒度设计
然后问了一下实时数据仓库的建模啥的。
最后问了我一个大滑动开窗求UV,HLL 或者 roaring bitmap

二面 连续鸽了两次,然后我就不面了

【一个曾经落寞但是U字上升的老牌大厂】
基础平台
一面 peer面 40多分钟:
可能是我年限真的不长,一面是一个无情的八股文机器。
java的容器讲一下,List和Map的实现
讲一下java的两种锁
讲一下JVM的结构
讲一个项目
讲一下Spark的RDD是一种怎么样的数据结构
算法:合并两个有序数组,检查括号字符串合法性

二面 leader面 1小时不到:
算法, 检查平衡二叉树
flink 如何实现 exactly once。又是一轮 ckp机制
sql解析全过程,calcite是怎么做,stage生成
问了几个case怎么处理的,如何实现自动的列剪枝,谓词下推
spark的block管理
Spark 3.0,whole stage codegen,Adaptive execution,external shuffle service
auto skew detection,我讲了一个前东家的批实现和我自己在流上的实现
parquet和向量化计算
flink的repartition和 spark的shuffle的区别
问了一个项目
spring的AOP和IOC。这个是因为我做过后端开发

三面 传说中的女M 1小时多:
说实话,这个女M表现的并不友善。上来先是个人信息问东问西。。
FLink的多流join性能优化。这个是我项目相关的
failover快恢复
节点代码热部署怎么实现
然后我讨论了JM的单点性能问题,她坚持说这个不存在
性能调优
资源节约:这个地方我确实没怎么好好做过
state的实现和外化存储
interval join
业务的领域模型设计和我数据模型设计的对应
如何建设的数据服务,对外怎么保证SLA和准确性
口述一个算法的实现:分层打印二叉树,正反顺序交替打印二叉树。
坦白讲,这家是我面得最差的,给了我最低的涨幅,卡职级。而且三面面试官当时对我非常针锋相对,杠我每个点。一直挑战我说好多能力实现不是我自己做的blabla。
当时我非常不服气,后来想想,自己可能也有的地方不够solid。后来HR和我说一二面评价很高,三面确实低了一些。

【一家算是近一线的大厂】我的目标公司之一
一面 peer 一小时不到:
讲项目
又是任务托管平台
flink sql的生成过程, job graph 的实现,execution graph的实现。在哪里设计并行度,动态列实现,如何保存状态,如何报警重启
OLAP调优和选型
AP和TP的区别
说出OLAP的三个特点
说出流计算引擎选型的三个特点
这俩问题我印象深刻,头一次有人这么问

二面 leader 两小时,技术深度特别有:
上来先说一下你实时计算的架构,架构上从头开始捋
数据从哪里来,日志采集,服务端投递,离线数据,维表在redis,mysql和Hbase里
中间的计算引擎,flink和批引擎
结果的存储,kafka,mysql,hbase,redis,hive,presto等等。然后一个一个开始抠
日志采集的全流程,调优。
kafka和rocketmq的架构,高可用,负载均衡,kafka如何实现生产消费仅一次,ISR
kafka和rocket mq的区别
kafka吞吐为什么高?partition数过多为什么会有性能下降,针对这种场景设计page cache
kafka温数据转存储
kafka异地多活实现,我用的是直接冗余
kafka读写调优,tag存储怎么实现

Flink的端到端 exactly once。简直每面必问
性能调优,节点profile,反压怎么解,回撤放大怎么解
外存state的实现,cache的evict策略优化,如何减少读写放大,rocksdb的序列化优化
需要修改 state的方案,讲了社区的state process,也说了我们自己的方案
shuffle策略优化,skew动态检查
user defined join和user defined window怎么做,比如 sample join
failover快恢复:slot 备份,container提前加载。还有头条的region failover
JM的单点故障问题,这次这个面试官是能明白这个问题的

mysql的导入优化
Hbase的mvcc,hbase的block cache和索引,region replica和快恢复,full compaction优化,内存碎片怎么优化,mvcc在业务中的实践
hbased的大kv问题
redis怎么做的实时排序和flink的方案有啥区别
我自己实现的简易版数据湖,详细说了一下每个细节的实现
Doris的架构,shard和replica的实现
OLAP的实时导入和索引构建,这块是因为我说了一个索引实现OLAP引擎的思路
大数据量的olap引擎怎么解决的问题
Kylin的实时实现,这个是和我项目相关的,我自己实现了一个类似的
kafa的幂等实现,这个之前问过。

平台建设相关:如何做实时的数据血缘,如何做kafka的column级别安全控制

手写算法,m*n的矩阵,每一行从小到大排列,求前K小个数

三面 一小时 很高屋建瓴:
你的整体架构图画一下,数据流向
每个数据流和workload的特点
你的业务场景讲一下
你如何做性能优化的
如何做SLA的
如何优化资源的。(这个我又被问住了)
你遇到过什么生产环境的复杂问题,怎么解决的
为啥要跳槽
结束

四面HR:
HR是我一个校友,加上我面评还可以,全程没有为难。
老一套,谈薪,为啥离职,怎么选这几个公司
涨幅70%。

【写在最后】
其实面试过程中几个感慨吧。
第一个是高P面试其实面多了就可以发现思维方式是比较固定的。考察的几个方向其实每家都会问。和内部晋升相比也非常相似。如果有晋升需求的小伙伴,不妨面面试找找感觉。
第二个是社招中,讲好自己的故事十分重要,平时对自己的工作多总结思考。
第三个是视野要广,不管是技术上的还是非技术的,有一些问题可能因为精力有限或者业务有局限没有亲自做过,但是不代表你可以不会做。

希望这个经历的分享可以对大家有所帮助。

更多模拟面试

全部评论

(10) 回帖
加载中...
话题 回帖

推荐话题

相关热帖

近期精华帖

热门推荐