基于核方法实现多元非线性回归问题的分析
05-07
科技广场２００７．５
３８
通常，非线性变换函数φ（・）相当复杂，而运算过程中实际用到的核函数Ｋ（・，・） 则相对简单得多，这也正是核方法最为优越的地方。依据核方法理论，使得在这些高维的特征空间中只需进行内积运算而不必直接显式地计算φ。这样，如果后续的处理能够只用内积来实现，这样就能处理较高的维数甚至是无限维，另一方面特征空间中的线性问题的计算复杂度并没有增加，并且与它的维数无关，从而简化了计算。２
核方法非线性回归分析
根据核方法的原理且结合最小二乘回归分析方法，现将核方法实现非线性回归的原理简述如下：
设一个训练集合Ｓ＝｛（ｘ１，ｙ１），…，（ｘｌ，ｙｌ）｝，其中ｘ１是来自Ｘ
得到预测函数：
。
基于核方法实现多元非线性回归问题的分析
Ｒｎ
选择映射φ的目的是把非线性关系转化为线性关系，对训练集合Ｓ重新编码为：
Ｓ＝｛（φ（Ｘ１），ｙ１），…，（φ（Ｘ１），Ｙ１）｝
其中φ（Ｘ１）是来自Ｘ
由此将原数据空间转换成特征空间，并在特征空间中使用最小二乘法进行求解，根据前述分析可知在实际求解中不需要显性求出特征空间的值，只需要得到特征空间的内积即可求解方程，对上述定义核函数推导如下：函数
，同时考虑特征映射，定义核
由上式可知特征空间内积可通过计算原数据空间内积的平方得到，通过ＭａｔＬａｂ ７．０建模，计算可得到特征空间内积数据如表二所示。
表二
，因此
特征空间内积数据
３９
科技广场
２００７．５
４０