项目一：模型微调相关（面试问答总结）

首先让我介绍了简历中的第一个项目——模型微调相关项目。在交流过程中，面试官主要围绕以下几个方面进行了提问：

1. 指令遵循能力（未微调情况下的提升方式）

面试官提问：
如果不进行微调，如何让模型在回答指令时具有更高的指令遵循能力（例如格式准确率更高）？

2. 训练数据来源与构造

• 训练数据是如何获取的？
• 数据是如何构造和设计的？

3. Transformer 中的注意力机制

• 讲解 注意力机制（Attention Mechanism） 的基本原理。
• 为什么在计算注意力分数时需要 除以 ？
• 为什么是 ，而不是 ？

4. LoRA（Low-Rank Adaptation）

• 介绍 LoRA 的基本思想与实现方式。
• 为什么 LoRA 算法属于低秩（Low-Rank）方法？
• 从数学角度解释：LoRA 是如何保证 W + ΔW 仍然保持低秩结构的？

5. 手撕代码题

要求使用 PyTorch 或 NumPy 实现：

计算一个 N × D 的矩阵与一个 M × D 的矩阵之间的 欧氏距离 (a-b)^2，
返回一个 N × M 的矩阵，并且 不能使用 for 循环。

6. 反问环节

最后面试官询问：
“你有什么问题想要问我的吗？”