首页 > 百度 分布式计算研发(提前批)一面面经
头像
灬腿长哦吧
发布于 2021-07-30 14:44
+ 关注

百度 分布式计算研发(提前批)一面面经

2021.7.29
百度分布式计算研发工程师一面相关问题
1.自我介绍
2.项目介绍
3.用户可控的代码量有多少
4.还有什么其他数据并行的方式
5.ring allreduce 相关知识
6.ring allreduce增加节点会增加数据量传输吗(不会)
7.ring allreduce 一个节点挂掉有什么方法解决导致的问题吗。(相邻节点存梯度,问存梯度还是存参数,存参数没有意义我说的)
8.参数服务器一个worker节点挂掉,会影响梯度的汇总吗。又什么解决办法吗?
9.知道现在深度学习框架下用的通信库是什么吗?知道nccl吗 和mpi的区别是什么。答(MPI只创建通信域,给所有计算进程编号。NCCL负责GPU聚合通信的具体最佳实现。)
10.c++11新特性有哪些呢?
11.unordered_map的数据结构,map的数据结构
12.智能指针
13.socket编程状态介绍
14.训练过程中有哪些导致gpu训练利用率不高的问题。(数据集IO读取, 数据内存-显存 数据交换, reduce过程)
      如何解决数据集io读取问题
      如何解决数据内存-显存中数据交换的问题
      reduce 过程中解决办法
15.算法题(本地写共享屏幕) 寻找两个正序数组的中位数(时间复杂度空间复杂度尽量小)
写完算法题大概将近一个小时,最后面试官又突然想问两个问题,这两个问题回答的不是很好。
16.为什么使用批batch ,推理时间减少。
17.cuda stream 加速机制
18.PCIe传输慢怎么解决 nvlink知道吗

反问环节

总结:总体面试感受挺好的,面试官会针对你的项目区延展知识点,并且会结合一些实际的真实场景去问你一些问题,问你有没有解决思路。答得不好也没关系,会让你想到什么说什么就好。
总结自己就是很多知识点深挖的不够,可能会用但是底层的机制没有太熟悉。还需加强。最后许愿二面,并且二面顺利吧。

更多模拟面试

全部评论

(1) 回帖
加载中...
话题 回帖

推荐话题

相关热帖

历年真题 真题热练榜 24小时
技术(软件)/信息技术类
查看全部

近期精华帖

热门推荐