1、什么是分类，什么是回归？

答：分类与回归，本质上来讲是定量与定性的问题。回归问题的输出空间定义了一个度量，去衡量输出值与真实值的误差大小，例如：预测一瓶700毫升的可乐的价格（真实价格为5元）为6元时，误差为1；预测其为7元时，误差为2。这两个预测结果是不一样的。
对于分类问题，其度量空间是定性的，在分类问题中，只有分类正确与错误之分，至于错误时是将Class 5分到Class 6,还是Class 7，并没有区别，都是在error counter上+1。
其次，二者在损失函数的使用上也是不同的，回归问题通常用均方误差损失，分类问题上用交叉熵损失

2、损失函数有哪些？为什么逻辑回归乃至神经网络要用交叉熵损失而不用均方误差损失？

L1损失
L2损失
交叉熵损失

其中是softmax回归求得的结果，是实际的类别。可以看出，交叉熵损失函数只计算真实类别对应的预测概率的损失，而不考虑其他的预测概率损失。
注意：首先，对于交叉熵或者欧氏距离，目标函数都不能保证是凸的，不过，神经网络中对分类问题使用交叉熵而不用欧氏距离是因为前者一般情况下可以收敛到更好的局部极小值点处，即一般情况下在精度上更好一些。
其次，使用交叉熵，在计算梯度时会约去复杂项，使得计算更简单：因为交叉熵损失求梯度是，如果激活函数使用logistic的话，logistic的梯度是**，两者结合可以把约去，这样梯度就成线性的，因此不会存在学习速度过慢的情况。
**为什么分类问题用交叉熵，回归问题用均方误差？
答：分类的问题中，最好检验准确度的模型就是这个预测对还是不对，对为1，不对为0。而回归问题采用均方误差是计算你的预测离真实值远不远。

3、你对决策树了解多少，GBDT用的是什么决策树？（回归树还是分类树），GBDT原理，xgboost原理