1 分类算法常用哪些？

KNN

LR（逻辑回归）

SVM

决策树、随机森林

神经网络

2 回归算法一般用哪些？

线性回归

决策树、GBDT

XGboost

神经网络

3 回归方法中使用的评价指标是哪些?

均方误差（MSE）：

均方根误差（RMSE）

MAE(平均绝对误差)

R Squared

4 分类中使用的损失函数是哪些？为什么是交叉熵而不是 mae？

0-1 损失函数（zero-one loss）：在感知机中，使用的该损失函数

对数损失函数（log loss）：用于最大似然估计，等价于交叉熵损失函数

指数损失函数（exponential loss）：在 adaboost 中使用的该损失函数

合页损失函数（hinge loss）：在 SVM 中使用的该损失函数

交叉熵损失函数（cross-entropy loss）：用于分类任务

在 LR 与神经网络中，分类最常使用的是交叉熵*：

因为平方损失函数权重更新过慢，采用交叉熵损失函数可以完美解决过慢的问题，它具

有“误差大的时候，权重更新快；误差小的时候，权重更新慢”的良好性质。

sigmoid 作为激活函数的时候，如果采用均方误差损失函数，那么这是一个非凸优化问题，

不宜求解，容易陷入局部最优解。而采用交叉熵损失函数依然是一个凸优化问题，更容易

优化求解。

5 对于小数据集一般怎么处理呢？小数据集中如何防止过拟合？

第一个思路：

小数据集配合神经网络时，必须要考虑过拟合的问题。

最有效的方法应该是扩充数据集：数据集越大，网络泛化性能越好，所以努力扩充数据集

通过平移、翻转、旋转、放缩、随机截取、加噪声、色彩抖动等等方式。

其他防止过拟合的方法：比如 l1、l2，dropout、BN、验证集、模型集成

第二个思路：

神经网络需要大数据，所以可以考虑其他机器学习方法。

6 常用什么激活函数？

sigmoid

tanh

ReLU

Leaky ReLU

Mish 激活函数

[ 链 接 ](7. https://blog.csdn.net/weixin_42057852/article/details/84644348?

spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-

blog-2%7Edefault%7ECTRLIST%7ERate-1.pc_relevant_antiscanv2&depth_1-

utm_source=distribute.pc_relevant_t0.none-task-

blog-2%7Edefault%7ECTRLIST%7ERate-1.pc_relevant_antiscanv2&utm_relevant_index=1)

7 sigmoid 函数有使用过吗？与 relu 激活函数有什么不同？

sigmoid 型函数是第一个被广泛应用于神经网络的激活函数。经过 sigmoid 型函数作用后，

输出的值范围在[0,1]之间。但是 sigmoid 型函数的输出存在均值不为 0 的情况，并且存在梯

度消失的问题，在深层网络中被其他激活函数替代。在逻辑回归中使用的该激活函数用于

输出分类。

函数不同

sigmoid 存在梯度消失的问题；relu 型函数可以有效避免梯度消失的问题

8SGD,Momentum,Adagard,Adam 原理

SGD 为随机梯度下降,每一次迭代计算数据集的 mini-batch 的梯度,然后对参数进行跟新。

Momentum 参考了物理中动量的概念,前几次的梯度也会参与到当前的计算中,但是前几轮的

梯度叠加在当前计算中会有一定的衰减。

Adagard 在训练的过程中可以自动变更学习的速率,设置一个全局的学习率,而实际的学习率

与以往的参数模平方和的开方成反比。

Adam 利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率,在经过偏置的校正

后,每一次迭代后的学习率都有个确定的范围,使得参数较为平稳。

链接

9L1 不可导的时候该怎么办

当损失函数不可导,梯度下降不再有效,可以使用坐标轴下降法,梯度下降是沿着当前点的负

梯度方向进行参数更新,而坐标轴下降法是沿着坐标轴的方向,假设有 m 个特征个数,坐标轴

下降法进参数更新的时候,先固定 m-1 个值,然后再求另外一个的局部最优解,从而避免损失

函数不可导问题。

使用 Proximal Algorithm 对 L1 进行求解,此方法是去优化损失函数上界结果。

10sigmoid 函数特性