小米面试来的还挺突然的。

面试刚开始就让介绍自己、项目等等；

因为我有算法项目、刚好面我的小哥哥他说自己偏算法，然后就让我介绍一下我做的一个预测项目；

在预测项目中，我使用到了GBRT，然后问我xgboost和GBRT的区别；

总体来说，二者的区别我还是答的还行吧，但是还是不够全面

机器器学习算法中GBDT和XGBOOST的区别有哪些?
基分类器器的选择:传统GBDT以CART作为基分类器器，XGBoost还⽀支持线性分类器器，这个时 候XGBoost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问 题)。
⼆二阶泰勒勒展开:传统GBDT在优化时只⽤用到⼀一阶导数信息，XGBoost则对代价函数进⾏行行了了⼆二 阶泰勒勒展开，同时⽤用到了了⼀一阶和⼆二阶导数。顺便便提⼀一下，XGBoost⼯工具⽀支持⾃自定义损失函 数，只要函数可⼀一阶和⼆二阶求导。
⽅方差-⽅方差权衡:XGBoost在⽬目标函数⾥里里加⼊入了了正则项，⽤用于控制模型的复杂度。正则项⾥里里 包含了了树的叶⼦子节点个数T、每个叶⼦子节点上输出分数的L2模的平⽅方和。从Bias-variance tradeoff⻆角度来讲，正则项降低了了模型的variance，使学习出来的模型更更加简单，防⽌止过拟 合，这也是XGBoost优于传统GBDT的⼀一个特性。
Shrinkage(缩减):相当于学习速率(xgboost中的ε)。XGBoost在进⾏行行完⼀一次迭代后， 会将叶⼦子节点的权重乘上该系数，主要是为了了削弱每棵树的影响，让后⾯面有更更⼤大的学习空 间。实际应⽤用中，⼀一般把eta设置得⼩小⼀一点，然后迭代次数设置得⼤大⼀一点。(补充:传统 GBDT的实现也有学习速率)
列列抽样(column subsampling):XGBoost借鉴了了随机森林林的做法，⽀支持列列抽样，不不仅能 降低过拟合，还能减少计算，这也是XGBoost异于传统GBDT的⼀一个特性。
缺失值处理理:XGBoost考虑了了训练数据为稀疏值的情况，可以为缺失值或者指定的值指定分 ⽀支的默认⽅方向，这能⼤大⼤大提升算法的效率，paper提到50倍。即对于特征的值有缺失的样 本，XGBoost可以⾃自动学习出它的分裂⽅方向。
XGBoost⼯工具⽀支持并⾏行行:Boosting不不是⼀一种串串⾏行行的结构吗?怎么并⾏行行的?注意XGBoost的并 ⾏行行不不是tree粒度的并⾏行行，XGBoost也是⼀一次迭代完才能进⾏行行下⼀一次迭代的(第t次迭代的损失 函数⾥里里包含了了前⾯面t − 1次迭代的预测值)。XGBoost的并⾏行行是在特征粒度上的。我们知道， 决策树的学习最耗时的⼀一个步骤就是对特征的值进⾏行行排序(因为要确定最佳分割点)， XGBoost在训练之前，预先对数据进⾏行行了了排序，然后保存为block(块)结构，后⾯面的迭代中重 复地使⽤用这个结构，⼤大⼤大减⼩小计算量量。这个block结构也使得并⾏行行成为了了可能，在进⾏行行节点 的分裂时，需要计算每个特征的增益，最终选增益最⼤大的那个特征去做分裂，那么各个特征 的增益计算就可以开多线程进⾏行行。
线程缓冲区存储:按照特征列列⽅方式存储能优化寻找最佳的分割点，但是当以⾏行行计算梯度数据 时会导致内存的不不连续访问，严重时会导致cache miss，降低算法效率。paper中提到，可 先将数据收集到线程内部的buffer(缓冲区)，主要是结合多线程、数据压缩、分⽚片的⽅方 法，然后再计算，提⾼高算法的效率。
可并⾏行行的近似直⽅方图算法:树节点在进⾏行行分裂时，我们需要计算每个特征的每个分割点对应 的增益，即⽤用贪⼼心法枚举所有可能的分割点。当数据⽆无法⼀一次载⼊入内存或者在分布式情况 下，贪⼼心算法效率就会变得很低，所以xgboost还提出了了⼀一种可并⾏行行的近似直⽅方图算法，⽤用 于⾼高效地⽣生成候选的分割点。⼤大致的思想是根据百分位法列列举⼏几个可能成为分割点的候选 者，然后从候选者中根据上⾯面求分割点的公式计算找出最佳的分割点。

其实还用到了神经网络，但是面试官没有细问；

大数据项目上问了 reducebykey 和 groupbykey之间的区别；

其实我只是大致知道区别是什么，讲出来以后，面试官觉得没毛病；

然后就做了个算法题；

把快排写一下，然后我用python写了一下，面试官觉得用python写好简洁；

然后就问了一下小米数据部门的情况，感觉还是挺不错的，其实我还是挺想去这种纯数据部门工作的；

然后下午5、6点，就约了二面；