首页 > 攒人品:小米 大模型算法面经
头像
牛客310281160号
发布于 12-23 15:28 江苏
+ 关注

攒人品:小米 大模型算法面经

  1. flash attention解释下
  2. gqa解释下
  3. 怎么才能训练好一个sft过程?
  4. sft的loss计算是用什么计算的?
  5. lora原理
  6. lora参数权重初始化
  7. lora的r和缩放参数
  8. dpo的loss
  9. dpo数据集怎么构造比较好?
  10. 如果dpo训练过程中,accept回答和reject回答的loss都在升高,怎么办?
  11. 假如说dpo效果不好,怎么解决?
  12. 多轮对话一般要怎么训练?
  13. rag的流程?
  14. 检索时,只用关键字匹配会存在问题,怎么具体解决?(没有上下文语义信息)
  15. 给定一个网页,如何提取其中的关键信息

全部评论

(2) 回帖
加载中...
话题 回帖