高斯过程回归是使用高斯过程先验对数据进行回归分析的非参数模型。高斯过程回归的模型假设包括噪声和高斯过程先验两部分，其求解按贝叶斯推断进行。若不限制核函数的形式，高斯过程回归在理论上是紧致空间内任意连续函数的通用近似。此外，高斯过程回归可提供预测结果的后验，且在似然为正态分布时，该后验具有解析形式。因此，GPR是一个具有泛用性和可解析性的概率模型。

高斯过程回归于20世纪90年代中期被研究应用于机器学习领域，而在数学领域中其理论的提出和应用则更早。高斯过程回归是基于贝叶斯理论和统计学习理论发展起来的一种全新机器学习方法，适于处理小样本、高维数、和非线性等一些复杂回归问题。其为内核计算机的学习提供了一种原则性，实用性，概率性的方法。这为模型预测的解释提供了优势，并为学习和模型选择提供了完善的框架。基于高斯过程的回归模型易于实现，灵活，因此在许多应用领域中都是强大的工具，它们的主要局限性在于，内存需求和计算需求分别随训练案例n的平方和立方而增长，从而直接限制为最多千个数据的问题。为了克服计算限制，许多作者提出了许多稀疏逼近，即一些降低数据维度的方法。例如：对潜变量的一个子集做精确处理，对其余变量进行一些近似处理，这样使得在计算上更方便。如基于不同的近似范式，例如似然近似、投影方法、矩阵近似、Kullback-Leibler散度的最小化等。

高斯过程可以对平稳和非平稳时间序列进行预测研究，也适合于非平稳情形、Farrell等股票趋势预测、非线性位移时间序列预测、隧道围岩变形预报、隧道位移时序分析和边坡变形预测、动态系统模型的辨识。

与支持向量机和神经网络比较, 该方法具有易实现、超参数自适应获取以及输出具有一定的概率意义等优点。

作者：甘桐雨

审阅：王洪桥