给一个大文件，提供SDK接口put(文件名)和get(文件名)，怎么设计？需要考虑哪些问题？分片上传，没有合并块的接口，你get的时候，怎么判断是哪些分片属于该文件？（我说存元数据，他说不能）上传文件，从磁盘到服务器的文件系统，发生几次数据拷贝？磁盘性能是固定的，多线程上传性能提高了吗？机械硬盘的IO吞吐量是多少？CPU负载过高一定需要提高CPU性能吗？还是说有其他问题？如何确定Http body的大小？MySQL根据B查询CD，怎么建索引？B只有四种数据，查询怎么办？（分表，不知道对不对？）死信队列实现延迟队列的原理你觉得你的项目还有什么需要改进的？项目吞吐量是多少？测过吗？

A：比较擅长的课程B：机器学习A：XGboost原理、K-means原理B：xxxxxxxx（中规中矩回答）A:  好了好了不用说了够了(打断），我觉得你你适合走技术，不适合走这个岗位B:。。。。。。#春招##数据分析师#

来源：boss内容：自我介绍            校内数据分析的课程用到的工具            为什么选择南京            上一份工作中数据处理的内容是怎么做的            期望薪资            用axure干嘛            经济学课程有没有涉及到数据            平时数据来源在哪            家里有没有兄弟姐妹            去南京家里有没有意见            现在在哪            什么时候可以到岗            有没有关注财经的信息（想问一些证券的内容，抱歉，我一点不懂）             sql查询的语句，因为不会而延伸到access实验课成            未来工作规划            能不能接受晚班面的时候整个人脑子都是浆糊了，记不大清了已经

#软件开发2024笔面经# mapreduce运行流程spark hadoop区别mpp数据库怎么理解 优势是啥，你用过哪些mpp数据库pb级别数据怎么处理你是否使用过cube项目中你们用的什么模型，星型还是雪花 还是其他讲讲这几种模型的区别和优势为什么数据仓库不推荐使用三范式，你们用的范式建模还是维度建模你还有切莫想问的吗？ 你之后怎么规划路线的？有没有想好以后重点往那方面发展，准备就在上海么

一面（4.24）： 总体30 min    1.为什么在上一家公司离职    2.对公司有什么诉求    3.理解到你的诉求是想提升技术了，那假如在公司干活不能提升你的技术那你会怎么办（跑路）    4.你希望自己以后成为什么样的人    5.AB test    6.标准明细表（没太听懂）    7.数仓的分层    8.spark为什么比MR快    9.项目中具体干了什么活    10.你觉得沟通很重要吗    11.如果你有简单的方案可以完成业务方的需求，但业务方坚持要你用他所提供的更复杂的方案怎么办（把两边的leader拉过来开会）    12.如果两边的leader都不想管这件事怎么办（？？？？？？？）    13.数据倾斜总体感觉一般，感觉和面试官在很多观点上有diff（面试官认为技术人员是为业务方服务的，要尽可能去完成业务方的需求；我认为技术人员和业务方是平等的，他让我干的活我不想做我可以选择不做面试官认为我在面试过程中提到的需求做不了这种事情不可能存在。你没接触过这么大数据量的数据当然不知道还有跑不动的任务）

#软件开发2024笔面经# 百度面试2024数据开发岗位1.结合以往经历，谈谈项目管理哪些过程域，你认为更重要？原因是啥？你的弱势点有哪些？2.讲一个项目，完整介绍下项目，你的职责，具体咋做的，成效业绩。3.总结讲一下你主导过的数据分析应用类项目中痛难点有哪些？怎么解决的？4.横向讲一下几个etl工具的优缺点？cdm,kettle,infa5.数据共享服务怎么做的？过程中如何做到的安全合规？6.数据要素相关工作做过哪些？有过哪些接触？7.招投标工作，文档材料编写汇报，做过哪些？ #offer#  #大数据#   

#软件开发2024笔面经# 阿里云数据开发岗位面试公司名称:阿里云面试岗位:大数据开发整个是大数据开发，我以为是数仓开发，结果问的全是Spark问题，被搞自闭了。1，自我介绍2，park中RDD的Task数量由什么决定?3，Spark怎么实现算子中的变量共享?4，Spark共享变量的使用条件?5，可序列化?连接池实例是在算子内还是在算子外?我一开始没想好，先回答了连接池的作业:是为了连接的复用，将可能会用到的连接通道给提前打开，存在大量通信请求场景时，可以用到连接池来优化整个通信过程的效率。我回答是 连接池实例应该在算子外创建和管理，这样算子共享相同的连接池。但面试官说让我好好想想。然后问我如果进行网络连接，是一台电脑连接还是多台连接?应该是在算子内，通常是因为数据不能或不应当在算子之间共享，或者存在连接泄漏的风险。例如，在使用HBase时，连接器必须在算子内实例化连接池中的连接，以确保每个算子在处理数据时都能获得可用的连接。6，习惯用的语言?Scala熟练不?对Scala有什么看法?7，为什么选择Spark来处理数据?因为非结构化的数据多吗?这是3面，整个流程大概花了50分钟，问的问题脉友一场，知无不言

一面（4.24）：1.项目2.遇到重复的数据怎么去重3.row_number()、dense_rank()、rank()三者的区别4.算法5.爬虫相关

#软件开发2024笔面经# 0)项目中遇到哪些问题?1)业务数据采集框架选择(FlinkCDC，Maxwell,Canal)2)Dwd 层新老访客修复、Dws层用户回流状态过大，选择状态后端不合理导致OOM3)状态后端选择 RocksDB导致链路延迟过高4)Dws层读取外部数据库维度数据网络延迟过高导致反压5)数据倾斜导致的反压6)Flink SQL 未设置 TTL 导致的 OOM7)改变程序拓扑结构，通过Savepoint恢复程序未指定算子Uid 导致的报错8)Kafka 分区动态增加，Flink键控不到新分区数据导致数据丢失9)某个Kafka分区没有数据，导致 Flink下游水位线无法抬升，窗口无法关闭计算10) Kafka的问题(挂了、丢了、重复了、积压了、乱序了、如何提高吞吐量)11) Hbase 的rowkey设计不合理导致的数据热点问题12) Redis做旁路缓存，与Hbase的数据一致性问题13) Flink写Clickhouse的精准一次性问题14) Clickhouse 的优化问题 #大数据#  #数据人的面试交流地#  #offer#

#软件开发2024笔面经# 数据开发面试经历上海的亿沓科技Kafka数据重复怎么办？zookeeper了解吗？flume架构展开说说flume的channel？Kafka架构说说？sql底层原理了解吗？Kafka丢数据咋办？可以说下Kafka的分配分区策略吗？讲下数仓项目的全流程为什么做这个数仓项目？有什么用？hdfs小文件怎么处理？python会吗？反问感觉问的还是挺底层的，答的也不太好

实习生岗位，没有转正机会，本牛没有实习经历1.自我介绍2.介绍自己一个与数据分析相关的项目（介绍了期末project）3.学习中掌握的数据分析技能有哪些（答了sql和python）4.介绍一个学习中的困难以及是怎么克服的（很笼统地说了些学习中遇到的困难），面试官不满意，一定要我具体介绍某一个困境或者很suffer的经历5.反问：该岗位还需要哪些能力，面试官答曰需要一双发现的眼睛，会探索的脑子，从数据中发现异常、处理异常，以提升工作效率和kpi云云

#软件开发2024笔面经# 2024字节跳动面试 数据岗位1.模型开发的流程，需求调研过程中有哪些人员参加，调研过程，你会输出什么文档？2.如何保障数据质量（准确性）？3.spark有什么优缺点？在使用过程如何规避缺点？4.spark内存模型？5.spark和MR为什么会进行shuffle，如何减少shuffle？6.小文件治理的方式？7.主题域建设的流程？8.大表join大表的优化（10亿与1千万数据关联）？9.为什么存在ods穿透？10.你希望公司工作强度如何？ #数据人的面试交流地#  #第一次面试#  #如何确定求职岗位#  #大数据#

来源：boss内容：1.自我介绍            2.上份哪些工作包含数据处理，量级，频率，如何汇报（问了很多细节）            3.就工作轻重来梳理一下上分工作，包含行政和数据处理的一些工作，这两个的比重谁更大            4.有没有出现过做数据事数据晚收的情况，怎么解决的            5.驻外的，驻的哪，负责什么地区，呆了几个月            6.对开卷和图书行业的看法，对工作岗位的理解            7.为什么离职            8.之前加班情况是什么样的            9.是否有其他offer            10.希望薪资，低于这些是不考虑了是嘛            11.反问经常会出现面试官问了好几个问题，答着答着就忘记问了什么了，很多问题缺乏思考，就脱口而出😣

1. 如何选择更高效的数据类型？答：1）更小的：一般情况下，应该尽量使用较小的数据类型，更小的数据类型占用较少的磁盘空间，内存和CPU缓存，处理时候需要的CPU周期更短。2）更简单的：简单的数据类型占用较少的CPU周期，整形比字符串类型代价低很多，因为字符集和校验规则时字符串比较更加复杂。3）尽量避免NULL：很多表都包含可以为NULL的列，即使应用程序并不需要保存NULL也是如此，因为可为NULL是列的默认属性，通常情况下，最好指定列为非NULL，查询可为NULL的列，是的MySQL更难优化，因为我NULL的列使得索引、索引统计和值的比较都更复杂，可为NULL的列占用更多的存储空间，在MyS...

这是阿里巴巴的一个研发岗位，涵盖一些大数据的笔试专业面试问题 #软件开发2024笔面经# 针对过往经历Q：字节确实注重数据驱动，这样子的决策方式可能会有什么问题？哪些决策没办法用这些方法进行验证？Q：结合过往实习经历，你现在想要帮商家提升GMV，你觉得该如何去进行提升？行为面Q：在这几段实习经历中，哪段需要联系各方的人推动解决问题的情景更多？Q：在合作过程中遇到比较多的卡点是什么，导致这个事情很难推动？Q：在沟通过程中，对你能力最大的挑战是什么？ #不给转正的实习，你还去吗#  #大数据#  #找实习多的是你不知道的事#

美团数开暑期实习二面 4.2445分钟左右。主要问项目和一些零散的八股，意外地没有编程题。项目:分层意义。卡住最长时间的一个问题，怎么解决的。ADS层指标举例，这个指标是怎么定义的，具体怎么实现的。Maxwell 增量同步的话，中间状态怎么处理的。为什么用HIVE，不直接在MySQL中进行分层处理，这样还不需要采集，答的不是很清楚，就说了个在hive的话可以并行处理。项目虽然很烂大街，但还是感觉不熟。最熟悉的几个组件，随便问了几个八股，比如MySQL 存储引擎，kafka零拷贝，没有深问。常用的Linux 命令，awk是干什么的。Java的一些知识:熟悉的数据类型；垃圾回收算法，full gc ；JVM内存划分，内存溢出，本地方法栈溢出；线程安全。闲聊:都很喜欢问为什么选择数据开发，为什么一二志愿都是数据开发，为什么没有选择国企那些；职业规划;可以实习的时间，导师会不会不放实习；优缺点。然后反问。

一面1. 项目介绍2. 介绍MPS3. 推荐模型训练技术, embeding和MLP的分离部署4. 模型训练 数据并行的通信量, 通信算子5. CUDA warp执行模式6. transformer架构7. 位置编码(问了, 但我说我不太了解就也没再细问下去)二面写代码, mem allocator

简历上的项目基本一点没问，就问了项目中遇到困难是怎么解决的

贝壳数开实习4.21再不记录就忘了。一面 40min+项目难点，怎么解决的。数据仓库的定义，分层的好处，维度建模。数据倾斜概念，解决方法。MapReduce过程。一道很简单的sql题。做数据开发需要具备的能力。问的八股挺少的，有很多聊天。二面 40min+疯狂拷打Java知识。怎么判断哪些需要回收，内存回收机制。kafka页缓存，怎么实现的，零拷贝怎么实现的，底层，为什么kafka能用页缓存和零拷贝。Spark为什么比MR快。进程和线程的区别联系，多线程和多进程的优缺点。还有好多不记得了……算法二叉树层序遍历。HR面 15min什么时候开始找实习的，现在面试流程走完的有多少公司；能够实习的时间，用三个关键词形容自己的性格，对工作地点的要求，职业规划，能够到岗时间和实习时间等常见问题。