对分类问题，设 \(y\in\{-1, 1\}\), \(\mathop{sign}(f(x))\) 代表分类器， 定义 \(z = yf(x)\) 为 margin 值。
一般来说， margin loss function 代表只需输入 margin 值即可输出 loss 的 function. 也即 \(\ell: \mathbb R \to \mathbb R\) or \(\ell(y, f(x))\triangleq \ell(yf(x))\), 常见的 loss 都可写成 margin loss 的这种形式，例如:
\[\begin{align*}
\text{0-1 loss (PAC analysis)} \quad&1\{z\le 0\}\\
\text{logistic loss (Logistic Regression)} \quad&\log(1+\exp(-z))\\
\text{exponential loss (Boosting)} \quad&\exp(-z)\\
\text{hinge loss (SVM)} \quad&[1-z]_+\\
\text{square loss (Linear Regression)} \quad& (1-z)^2\\
\text{ramp loss (truncated at $s$)} \quad& [1-z]_+ - [s-z]_+
\end{align*}
\]
\text{0-1 loss (PAC analysis)} \quad&1\{z\le 0\}\\
\text{logistic loss (Logistic Regression)} \quad&\log(1+\exp(-z))\\
\text{exponential loss (Boosting)} \quad&\exp(-z)\\
\text{hinge loss (SVM)} \quad&[1-z]_+\\
\text{square loss (Linear Regression)} \quad& (1-z)^2\\
\text{ramp loss (truncated at $s$)} \quad& [1-z]_+ - [s-z]_+
\end{align*}
\]
以上参考:
- ICML-19 On Symmetric losses for learning from corrupted labels
- ICML-16 Loss Factorization, Weakly Supervised Learning and Label Noise Robustness
- 解析卷积神经网络---深度学习实践手册 p108
- 机器学习理论研究导引课程讲义（consistency）
但 ICML-19 Bridging Theory and Algorithm for Domain Adaptation中 特指 margin loss 为 如下 loss, 取代 0-1 loss
定义假设 \(f\) 在 \((x,y)\) 处 margin 为： \(\rho_f(x,y) = \frac{1}{2}(f(x,y)-\max_{y'\neq y}f(x,y'))\)
再定义一个 \(\rho\)-间隔损失函数（机器学习理论研究导引讲义中基于 Rademacher 复杂度的 Boosting 间隔分析理论也提到此）如下：
\[ \Phi_\rho(x) \triangleq
\begin{cases}
0 \quad&\rho\le x\\
1-x/\rho \quad &0\le x\le\rho\\
1 \quad &x\le 0
\end{cases}
\]
\begin{cases}
0 \quad&\rho\le x\\
1-x/\rho \quad &0\le x\le\rho\\
1 \quad &x\le 0
\end{cases}
\]
则 \(\Phi_\rho(\rho_f(x,y))\) 为 \(f\) 在样例 \((x,y)\) 处的 margin loss
本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：机器学习中 margin loss 、hinge loss 和 ramp loss 的区别 - Python技术站
微信扫一扫 
支付宝扫一扫 
