从今天起，豆芽有空也尽己所能，帮助一下大家。

面经来源：https://www.nowcoder.com/discuss/699103?source_id=discuss_experience_nctrack&channel=-1

1. 分类算法常用哪些？

1. KNN

2. LR（逻辑回归）

3. SVM

4. 决策树、随机森林

5. 神经网络

2. 回归算法一般用哪些？

1. 线性回归

2. 决策树、GBDT

3. XGboost

4. 神经网络

3. 回归方法中使用的评价指标是哪些?R方有使用过吗？

有几个指标：

1. 均方误差（MSE）：

2. 均方根误差（RMSE）

3. MAE(平均绝对误差)

4. R Squared

4. 平时使用的损失函数是哪些？

1. 分类：交叉熵

2. 回归：均方误差（MSE）

3. 分割：IOUloss

5. 分类中使用的损失函数是哪些？为什么是交叉熵而不是mae？

1. 0-1损失函数（zero-one loss）：在感知机中，使用的该损失函数

2. 对数损失函数（log loss）：用于最大似然估计，等价于交叉熵损失函数

3. 指数损失函数（exponential loss）：在adaboost中使用的该损失函数

4. 合页损失函数（hinge loss）：在SVM中使用的该损失函数

5. 交叉熵损失函数（cross-entropy loss）：用于分类任务

在LR与神经网络中，分类最常使用的是交叉熵*：

1. 因为平方损失函数权重更新过慢，采用交叉熵损失函数可以完美解决过慢的问题，它具有“误差大的时候，权重更新快；误差小的时候，权重更新慢”的良好性质。

2. sigmoid作为激活函数的时候，如果采用均方误差损失函数，那么这是一个非凸优化问题，不宜求解，容易陷入局部最优解。而采用交叉熵损失函数依然是一个凸优化问题，更容易优化求解。

6. 对于小数据集一般怎么处理呢？小数据集中如何防止过拟合？

第一个思路：

小数据集配合神经网络时，必须要考虑过拟合的问题。

最有效的方法应该是扩充数据集：数据集越大，网络泛化性能越好，所以努力扩充数据集，通过平移、翻转、旋转、放缩、随机截取、加噪声、色彩抖动等等方式。

其他防止过拟合的方法：比如l1、l2，dropout、BN、验证集、模型集成

第二个思路：

神经网络需要大数据，所以可以考虑其他机器学习方法。

7. 常用什么激活函数？

1. sigmoid

2. tanh

3. ReLU

4. Leaky ReLU

5. Mish激活函数

8. sigmoid函数有使用过吗？与relu激活函数有什么不同？

sigmoid型函数是第一个被广泛应用于神经网络的激活函数。经过sigmoid型函数作用后，输出的值范围在[0,1]之间。但是sigmoid型函数的输出存在均值不为0的情况，并且存在梯度消失的问题，在深层网络中被其他激活函数替代。在逻辑回归中使用的该激活函数用于输出分类。

1. 函数不同

2. sigmoid存在梯度消失的问题；relu型函数可以有效避免梯度消失的问题

以上所有题的答案其实都来源于我的博客面经，欢迎大家围观：https://blog.nowcoder.net/jiangwenbo