机器学习中，如何挑选适宜的损失函数

考虑任务类型

• 回归任务：
  • 均方误差（Mean Squared Error，MSE）：计算预测值与真实值之间差值的平方的平均值。它对误差进行了平方操作，所以会放大较大误差的影响，常用于线性回归等任务中。例如预测房价，若真实房价是 500 万，预测值为 400 万，差值为 100 万，MSE 会计算这个差值的平方等相关运算来衡量损失。其数学表达式为：，其中是样本数量，是真实值，是预测值。
  • 平均绝对误差（Mean Absolute Error，MAE）：计算预测值与真实值之间差值的绝对值的平均值。相比于 MSE，它对异常值没那么敏感，因为没有进行平方放大操作。比如同样预测房价的例子，它只计算差值的绝对值来衡量损失，数学表达式为：。
  • 均方根误差（Root Mean Squared Error，RMSE）：它是 MSE 的平方根，和 MSE 类似，但量纲与目标变量一致，使得其在实际解释损失大小时更直观，公式为。
• 分类任务：
  • 交叉熵损失（Cross Entropy Loss）：在多分类问题中广泛应用，比如图像分类识别是猫、狗还是兔子等类别。它衡量了两个概率分布之间的差异，模型输出的预测概率分布和真实的类别概率分布（通常是 one-hot 编码形式，即正确类别为 1，其余为 0）之间的差异越小，交叉熵损失越小。对于二分类的情况，其表达式可以简化为，其中是真实标签（0 或 1），是预测为正类的概率；多分类的一般形式相对复杂些，和类别数量以及概率分布计算相关。
  • 铰链损失（Hinge Loss）：常用于支持向量机（SVM）中，特别是在处理线性可分的二分类问题时表现良好。它鼓励正确分类的样本与决策边界保持一定的间隔，表达式为，其中是样本的真实标签（表示正负类），是权重向量，是样本特征向量，是偏置项。
  • 对数损失（Log Loss）：和交叉熵损失类似，常用于衡量分类模型的性能，本质上也是基于概率的一种损失衡量方式，特别在逻辑回归等模型中常用，其计算公式为，这里是真实标签，是预测为正类的概率。

根据数据特点选择

• 存在异常值的数据：如果数据集中存在少量较大或较小的异常值，像在一些金融数据预测（如股票价格预测）中，MAE 相对更合适，因为 MSE 会因为对误差的平方操作而过度受到异常值的影响，导致模型训练可能偏向于减小异常值带来的巨大损失，而忽略了其他正常样本的拟合情况。
• 数据分布不均匀的情况：在分类任务中，若不同类别样本数量差异很大（比如正类样本占比极少，负类样本占比极大，像在疾病检测中健康样本远多于患病样本），可以考虑使用加权的交叉熵损失，对少数类样本的损失赋予更高权重，使得模型能更关注对这些少量但重要的样本的学习，避免总是倾向于预测多数类而忽略少数类。

考虑模型特性

• 基于概率输出的模型：像逻辑回归、神经网络用于分类时，交叉熵损失就很契合，因为这些模型最后输出的是类别的概率，而交叉熵损失正是基于概率分布差异来衡量损失的，能很好地引导模型去优化概率输出，使其更接近真实的类别分布。
• 基于距离衡量的模型：例如 K 近邻等简单的基于样本距离进行决策的模型，在回归场景下使用 MAE 或者 MSE 这类基于预测值和真实值距离（差值）来衡量损失的函数就比较自然，能够让模型去调整特征空间中的距离关系来更好地做出预测。

优化难易程度

• 某些损失函数的梯度特性好：例如 MSE 损失函数，它在求导等梯度计算方面形式比较简单，在使用梯度下降等优化算法训练模型时，计算的复杂度低、效率高，能够比较平稳快速地更新模型参数。而像一些复杂的自定义损失函数，如果其梯度计算复杂甚至不连续，那么在模型训练优化时就会面临困难，可能导致训练难以收敛或者收敛到局部最优的情况。

模型评估指标关联

• 选择的损失函数最好和最终用于评估模型好坏的指标有一定关联性，比如在回归任务中，如果最终关注模型预测的平均绝对误差情况，那在训练时选择 MAE 作为损失函数，就能在训练过程中直接朝着优化这个评估指标的方向去调整模型，更有利于达到期望的模型性能。