21 | 基函数扩展：属性的非线性化

在机器学习领域，模型的性能往往受到数据特征表达能力的直接影响。当面对复杂问题时，简单的线性模型可能无法捕捉到数据中的隐藏模式或非线性关系，这时就需要通过基函数扩展（Basis Function Expansion）来增强模型的非线性建模能力。本章将深入探讨基函数扩展的概念、原理、常用方法以及它们在机器学习中的应用，旨在帮助读者理解并有效运用这一技术来提升模型性能。

21.1 引言

在机器学习任务中，数据特征的选择与转换是至关重要的步骤。原始数据可能包含冗余、噪声或不相关的属性，直接用于建模可能导致模型复杂度高、泛化能力差。同时，许多实际问题的本质是非线性的，而线性模型由于其简单性和易于解释性，在复杂问题上往往表现不佳。因此，通过基函数扩展将原始属性转换为新的、更具表达力的特征，是实现非线性建模的一种有效手段。

21.2 基函数扩展的基本概念

基函数（Basis Function）：在数学和计算机科学中，基函数是一组函数，它们可以被用来线性组合成更复杂的函数。在机器学习中，基函数通常用于将原始数据特征映射到新的特征空间，这个过程称为特征转换或特征映射。

非线性化：通过基函数扩展，原始数据特征被转换为新的非线性特征，从而允许模型捕获原始数据中的非线性关系。这种转换增强了模型的表达能力，使其能够拟合更复杂的函数关系。

21.3 基函数扩展的原理

基函数扩展的基本原理是通过定义一组基函数，并将它们应用于原始数据特征上，生成新的特征集合。这些新的特征可以是原始特征的线性组合、非线性变换或两者的结合。新的特征集合随后被用作机器学习模型的输入，模型在这些扩展后的特征空间上进行学习和预测。

基函数的选择取决于具体问题和数据特性。一些常用的基函数包括多项式函数、三角函数、核函数（如高斯核、径向基函数RBF）、sigmoid函数等。这些基函数各有特点，能够捕捉不同类型的非线性关系。

21.4 常用基函数扩展方法

21.4.1 多项式扩展

多项式扩展是最简单也是最常用的基函数扩展方法之一。它通过增加原始特征的高次项来扩展特征空间，例如将一维特征$x$扩展为$x, x^2, x^3, \dots, x^n$。多项式扩展能够引入非线性因素，但需要注意过拟合的风险，特别是当多项式阶数过高时。

21.4.2 核方法

核方法是一种通过核函数将输入空间映射到高维特征空间的技术，常用于支持向量机（SVM）等算法中。核函数（如高斯核、多项式核）定义了两个输入向量之间的相似度，从而在高维空间中隐式地构造了新的特征。核方法不直接计算高维空间中的坐标，而是通过核函数直接计算特征间的距离或相似度，有效降低了计算复杂度。

21.4.3 径向基函数网络（RBF Network）

径向基函数网络是一种人工神经网络，其隐层神经元采用径向基函数作为激活函数。每个隐层神经元对输入向量的一个特定区域（即“感受野”）敏感，并通过径向基函数计算输入向量与该区域中心的距离，从而生成非线性特征。RBF网络以其强大的非线性映射能力和良好的泛化性能在模式识别、函数逼近等领域得到广泛应用。

21.4.4 神经网络中的激活函数

在神经网络中，激活函数扮演了基函数的角色，它们将神经元的输入映射到输出空间，从而引入非线性因素。常用的激活函数包括sigmoid函数、ReLU函数、tanh函数等。这些激活函数不仅增强了神经网络的非线性建模能力，还通过其导数特性促进了网络训练的优化。

21.5 应用实例

假设我们有一个回归任务，目标是预测房价，但发现房价与房屋面积之间存在明显的非线性关系。此时，我们可以采用多项式扩展作为基函数扩展方法，将房屋面积$x$扩展为$x, x^2, x^3$等特征，并作为模型的输入。通过训练模型，我们可以学习到这些非线性特征与房价之间的复杂关系，从而提高预测的准确性。

另一个例子是在图像识别任务中，原始像素值作为输入特征可能无法有效表示图像的高级特征（如边缘、纹理）。此时，可以通过卷积神经网络（CNN）中的卷积层和激活函数来实现基函数扩展，自动提取图像的高级特征，从而提高识别准确率。

21.6 注意事项与最佳实践

• 避免过拟合：基函数扩展会增加模型的复杂度，容易导致过拟合。因此，在选择基函数和扩展方式时，应谨慎考虑数据的规模和复杂度，适当采用正则化、交叉验证等技术来防止过拟合。
• 特征选择：在基函数扩展后，可能会生成大量的新特征。为了保持模型的简洁性和高效性，应进行特征选择，去除冗余和不相关的特征。
• 模型可解释性：虽然基函数扩展能够提升模型的性能，但也可能降低模型的可解释性。在需要模型可解释性的场景中，应权衡性能提升和可解释性的需求。

21.7 结论

基函数扩展是机器学习中一种强大的特征转换技术，它通过引入非线性特征来增强模型的表达能力，使模型能够更好地拟合复杂的数据关系。通过合理选择基函数和扩展方式，并结合有效的模型训练和优化策略，我们可以显著提升机器学习模型的性能。本章详细介绍了基函数扩展的基本概念、原理、常用方法以及应用实例和注意事项，希望为读者在机器学习实践中提供有益的参考和指导。