字节电商方向 大数据开发 实习

1. spark相关

• 数据倾斜
• 作业调度
• 有shuffle的算子、没有shuffle的算子
• 宽依赖窄依赖
• union可以形成宽依赖吗？不能 为啥

2. hive

• hive底层原理，sql执行过程
• hive sql会吗? 不会

3. coding

• leetcode 字典序的第k小数字 没写出来（卒）

字节data部门 大数据开发 提前批

1. spark相关

• 数据倾斜如何解决
• spark的提交模式
• yarn-cluster涉及的参数有哪些
• 有关资源分配的参数有哪些，这些参数如何自动分配
• dns解析过程，本地在哪缓存，服务器上怎么缓存

2. linux相关：

• 本地dns在哪配置
• linux根目录有哪些文件夹
• 查看进程的命令有哪些
• 如何查找指定关键字的进程信息，匿名管道

3. java相关

• gc如何调优
• 常见的gc回收器和区别
• cms回收器和g1回收器的回收流程和适用场景
• java有哪些锁
• Map有哪几种
• ConcurrentHashMap怎么保证线程安全
• volatile和sychronized关键字原理
• 线程同步的方式

4. mysql相关：

• 如何进行数据转移
• 数据量大怎么办，我说了建索引，他问还有啥？
• B树与B+树的区别

5. Hbase相关：

• 底层的存储结构，和mysql有什么不同
• Hbase写数据的过程
• Regin分裂具体过程，没答上来

6. zookeeper：

• 有哪几类节点
• leader选举如何实现
• 目录结构
• 数据存储在什么地方

7. kafka：

• 特点：高吞吐量低延迟
• 为什么具有这样的特点，零拷贝，顺序写（kafka有用到零拷贝吗？有啊！）
• 还有什么提高吞吐量的方法？异步生产

8. coding
   场景：网上购物返现，假设你需要购买某一商品，每天都要购买一次，连续买n天，但每天有不同的价格。
   你知道每天的价格，如果某一天你花8块买了，未来某一天价格降到了1块，就会返现7块，只能返现一次。
   求连买n天商品的最小价钱。
   例如，输入[3,2,1,5]，那么总共花了11块，但返现了3元，所以最少花了8块买了4件商品。
   先给出了O(n)的解法，逆序遍历数组，记录已遍历价格的最小值，累计算出商品总价格、和总的返现值，相减即为结果。
   后面试官加入参数m，表示返现的有效天数，修改了代码，但思路错误，讨论了一下，逆序遍历超过m个价格时，再遍历后m个价格得出最小价格进行返现，
   （其实也不难，我一直再想有没有更快的解法，估计是面试官觉得想地太慢）
   得出O（nm）的解法，说时间差不多了，没让写。
   然后问hr，说挂了~， 原因是代码能力一般。