支持向量机是找到一个间隔最大的超平面，最大的将不同类数据分开。
线性支持向量机
模型
硬间隔：
$$
分界面：\omega x+b=0\\
y=sign(\omega x+b)
$$
软间隔：
$$
分界面：\omega^* x+b^*=0\\
y=sign(\omega^* x+b^*)\\
其中\omega^*的解是唯一的，而b^*的解是在一个区间内
$$
策略
采用的是最大间隔的策略，也就是最小的分类误差，在解最大化点\(x_i\)到超平面的距离\(\gamma_i = y_i(\frac{\omega x_i}{\left \| \omega \right \|}+\frac{b}{\left \| \omega \right \|})\)中，可以推出目标函数。
硬间隔凸二次规划问题（原始问题）：
$$
\begin{aligned}
\min_{\omega,b}\hspace{1em}&\frac{1}{2}\left \| \omega \right \|^2\\
s.t.\hspace{1em}& y_i(\omega x_i+b)\geqslant 1
\end{aligned}
$$
软间隔凸二次规划问题（原始问题）：
$$
\begin{aligned}
\min_{\omega,b}\hspace{1em}&\frac{1}{2}\left \| \omega \right \|^2 + \sum_{i=1}^{N}\xi_i\\
s.t.\hspace{1em}& y_i(\omega x_i+b)\geqslant 1 - \xi_i,\: i=1,2,\cdots,N\\
&\xi_i \geqslant 0,i=1,2,3,\cdots,N
\end{aligned}
$$
这两个的对偶问题形式写起来较复杂，使用内积加快运算速度。
核函数
将输入空间（欧式空间）映射到特征空间（希尔伯特空间）：
$$
\phi(x):\chi\rightarrow \mathcal{H}
$$