二、回归方程的拟合优度

1．多重判定系数

（1）多重判定系数 类似于一元回归模型，多元线性回归有如下离差平方和分解式

＿ ∧ ∧ ＿

∑（yi－）2＝∑（yi－）2＋∑（－）2

SST＝SSR＋SSE

自由度：（n－1）＝（k－1）＋（n－k）

式中，总离差平方和 SST 反映了因变量观测值总离差的大小；回归平方和 SSR 反映了因变量回归估计值说 明的总离差的大小，它是因变量观测值总离差中由自变量解释的那部分离差；残差平方和 SSE 反映了因变量观 测值与估计值之间的总离差，是因变量观测值总离差中未被自变量解释的那部分。

①概念：多重判定系数是多元回归中的回归平方和占总平方和的比例，即 R2＝SSR/SST＝1－SSE/SST。

②作用：它是度量多元回归方程拟合程度的一个统计量，反映了因变量 y 的变差中被估计的回归方程所解释 的比例，介于 0 和 1 之间，R2 越接近 1，模型对数据的拟合程度就越好。

（2）调整的多重判定系数

①概念：调整的多重判定系数

②调整的多重判定系数与多重判定系数的不同

R2 会随着自变量的增加而增大，但由于 Ra2 同时考虑了样本量（n ）和模型中自变量的个数（k）的影响，所 以 Ra2 的值永远小于 R2，而且 Ra2 的值不会由于模型中自变量个数的增加而越来越接近 1。因此，在多元回归分 析中，通常用调整的多重判定系数。

（3）多重相关系数（复相关系数）

R2 的平方根称为多重相关系数，也称为复相关系数，它度量了因变量同 k 个自变量的相关程度。

2．估计标准误差

（1）概念：多元回归中的估计标准误差是对误差项 ε 的方差 σ2 的一个估计值，计算公式为：

式中，k 为自变量的个数。

（2）作用：它是对 y 的观测值与估计值之间的离差的一种度量，在衡量多元回归方程的拟合优度方面起着 重要作用，同时也是计算置信区间的基础指标。

（3）解释：由于 se 所估计的是预测误差的标准差，其含义是根据自变量 x1，x2，„，xk 来预测因变量 y 时 的平均预测误差。

三、显著性检验

1．线性关系检验

线性关系检验是检验因变量 y 与 k 个自变量之间的关系是否显著，也称为总体显著性检验。检验的具体步骤如下：

（1）提出假设

H0：β1＝β2＝„＝βk＝0

H1：β1，β2，„，βk 至少有一个不等于 0

（2）计算检验的统计量 F

（3）作出统计决策

①给定显著性水平 α，根据分子自由度等于 k，分母自由度等于 n－k－1，查 F 分布表得 Fα。若 F＞Fα，则 拒绝原假设；若 F＜Fα，则不拒绝原假设。

②直接利用 P 值作出决策：若 P＜α，则拒绝原假设；若 P＞α，则不拒绝原假设。

2．回归系数检验和推断

回归方程通过线性关系检验后，就可以对各个回归系数 βi 有选择地进行一次或多次检验，具体步骤如下：

（1）提出假设

对于任意参数 βi（i＝1，2，„，k），有

H0：βi＝0；H1：βi≠0

（2）计算检验的统计量 t

式中，是回归系数的抽样分布的标准差，即

给定显著性水平 α，根据自由度等于 n－k－1 查 t 分布表，得 tα/2 的值。若|t|＞tα/2，则拒绝原假设；若|t|＜tα/2 ， 则不拒绝原假设。

3．F 检验与 t 检验的关系：

在一元线性回归中，线性关系检验（F 检验）与回归系数检验（t 检验）是等价的。但在多元回归中，这两 种检验不再等价。

线性关系检验主要是检验因变量与多个自变量的线性关系是否显著，在 k 个自变量中，只要有一个自变量与 因变量的线性关系显著，F 检验就能通过，但这不一定意味着每个自变量与因变量的关系都显著。回归系数检验则是对每个回归系数分别进行单独的检验，它主要用于检验每个自变量对因变量的影响是否显著。如果某个自变 量没有通过检验，就意味着这个自变量对因变量的影响不显著，此时就没有必要将这个自变量放进回归模型中。

四、多重共线性

1．多重共线性及其所产生的问题

当回归模型中存在两个或两个以上的自变量彼此相关时，则称回归模型中存在多重共线性。在回归分析中存

在多重共线性时将会产生的问题有：

（1）变量之间高度相关时，可能会使回归的结果混乱，甚至会把分析引入歧途；

（2）多重共线性可能对参数估计值的正负号产生影响，特别是 βi 的正负号有可能同预期的正负号相反，此 时对回归系数的解释是危险的。

2．多重共线性的判别

检测多重共线性中最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性 检验。如果有一个或多个相关系数是显著的，就表示模型中所使用的自变量之间相关，因而存在多重共线性问题。

具体来说，如果出现下列情况，暗示存在多重共线性：

（1）模型中各对自变量之间显著相关；

（2）当模型的线性关系检验（F 检验）显著时，几乎所有回归系数 βi 的 t 检验却不显著；

（3）回归系数的正负号与预期的相反；

（4）根据容忍度与方差扩大因子（VIF）进行判断。某个自变量的容忍度等于 1 减去该自变量为因变量而 其他 k－1 个自变量为预测变量时所得到的线性回归模型的判定系数，即 1－Ri2。容忍度越小，多重共线性越严重。通常认为容忍度小于 0.1 时，存在严重的多重共线性。方差扩大因子等于容忍度的倒数，即 VIF＝1（/

显然，VIF 越大，多重共线性越严重。一般认为 VIF 大于 10 时，存在严重的多重共线性。

3．多重共线性问题的处理

根据多重共线性的严重程度，选择不同的解决办法：

（1）将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关；

（2）如果要在模型中保留所有的自变量，则需：

①避免根据 t 统计量对单个参数 β 进行检验；

②对因变量 y 值的推断（估计或预测）限定在自变量样本值的范围内。

五、变量选择与逐步回归

在建立模型之前对所收集到的自变量进行一定的筛选，去掉那些不必要的自变量，不仅会使建立模型变得容易，而且使模型更具有可操作性，也更容易解释。

1．变量选择过程

（1）选择自变量的原则 选择自变量的原则通常是对统计量进行显著性检验，检验的根据是：将一个或一个以上的自变量引入到回归

模型中时，是否使得残差平方和（SSE）显著减少。如果增加一个自变量使残差平方和（SSE）显著减少，则说

明有必要将这个自变量引入回归模型，否则就没必要将这个自变量引入回归模型。 判断模型中引入自变量 xi 是否使残差平方和（SSE）显著减少，通常使用 F 统计量的值作为标准。

（2）变量选择的方法 变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等。

2．向前选择

（1）向前选择法是从模型中没有自变量开始，然后按下面的步骤选择自变量来拟合模型：

①对 k 个自变量（x1，x2，„，xk）分别拟合与因变量 y 的一元线性回归模型，共有 k 个，找出其中 F 统计 量的值最大的模型，并将其对应的自变量 xi 首先引入模型。（如果所有模型均无统计上的显著性，则运算过程终 止，没有模型被拟合。）

②在已经引入 xi 的模型的基础上，再分别拟合引入模型外的 k－1 个自变量（x1，„，xi－1，xi＋1，„，xk） 的线性回归模型，即变量组合为 xi＋x1，„，xi＋xi－1，xi＋xi＋1，„，xi＋xk 的 k－1 个线性回归模型。然后分别

考察这 k－1 个线性模型，挑选出 F 统计量的值最大的模型，将其中新引入的自变量 xj 加入模型。如果除 xi 之外 的 k－1 个自变量中没有一个是统计上显著的，则运算过程终止。如此反复进行，直至模型外的自变量均无统计

显著性为止。

（2）向前选择方法的特点：只要将某个自变量增加到模型中，这个变量就一定会保留在模型中。

3．向后剔除

向前选择法是先将所有自变量引入模型，然后按下面的步骤选择自变量来拟合模型：

（1）先对因变量拟合包括所有 k 个自变量的线性回归模型。然后考察 p（p＜k）个去掉一个自变量的模型

（这些模型中的每一个都有 k－1 个自变量），挑选出使模型的 SSE 值减小最少的自变量，将其从模型中剔除。

（2）考察 p－1 个再去掉一个自变量的模型（这些模型中的每一个都有 k－2 个自变量），挑选出使模型的

SSE 值减小最少的自变量，将其从模型中剔除。如此反复进行，直至剔除一个自变量不会使 SSE 显著减小为止。 这时，模型中所剩的自变量都是显著的。上述过程可以通过 F 检验的 P 值来判断。

4．逐步回归

逐步回归是将向前选择和向后剔除结合起来筛选自变量的方法。

（1）逐步回归法的步骤

①对 k 个自变量（x1，x2，„，xk   ）分别拟合与因变量 y 的一元线性回归模型，共有 k 个，找出其中 F 统计 量的值最大的模型，并将其对应的自变量 xi 首先引入模型。（如果所有模型均无统计上的显著性，则运算过程终 止，没有模型被拟合。）

②增加了一个自变量后，对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一 个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除。逐步回归按此方法不断地

增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致 SSE 显著减少，增加或剔除过程可

通过 F 统计量来检验。

（2）逐步回归法的特点：逐步回归法在前面步骤中增加的自变量有可能在后面的步骤中被剔除，而在前面 步骤中剔除的自变量也可能在后面的步骤中重新进入到模型中。