您的位置首页百科问答

多元线性回归建模如何确定选择哪些解释变量?

多元线性回归建模如何确定选择哪些解释变量?

的有关信息介绍如下:

多元线性回归建模如何确定选择哪些解释变量?

要了解线性回归的变量选取(Subset Selection),得先明白线性回归的弊端。本文先从模型弊端说起,再提及两种基本的变量选取逻辑。

线性回归的弊端:

线性回归模型(Ordinary Linear Regression)是通过最小化残差平方和(SSE, Sum of Squared Error)得出来的解。直观上而言,一个好的线性回归模型,其得出来的预测值应该与真实值接近,因此SSE应该会小。然而,如果我们仅仅以小的SSE作为衡量标准,来选取最终的模型,我们的模型永远都会是将所有变量都加入的模型。因为添加任意的变量,都会减小SSE,甚至当变量与真实值毫无关系时。

因此,单单利用残差平方和(SSE)的大小来作为选取变量的唯一标准会引起如下的两大问题:一方面,模型可能过拟合(over-fitting):加入更多的变量会加大模型的方差,而数据量又不足够让模型完全与真实情况相同;另一方面,失去模型的解释性(interpretation):我们不知道那些变量事实上会有影响,或者那些变量对预测最有帮助。

由此而言,我们理想中的模型即需要有尽可能低的残差,又需要有尽可能少的变量。而实际上的模型并不会如此完美,所以我们需要一种能够兼顾两者的方法。由此我们可以引出两类基础的变量选区逻辑。

变量选取逻辑一:结合残差与变量的衡量标准。

既然我们需要尽可能低的残差,有需要尽可能少的变量。那么我们可以创造一个衡量标准,选取这个衡量标准最大的模型。而这个标准必须满足:当残差小时,标准大,模型好;当变量少时,标准大,模型好。而一个很简单的衡量标准就是调整R方(adjusted R square):,其中n代表样本的数量(视为常数),p代表选取变量的多少,SST代表因变量的离散程度(视为常数)。不难发现调整R方(adjusted R square)满足我们所需要的衡量标准对于p和SSE的性质,因此可以被用来选取变量。

然而满足要求的衡量标准还有许多,因此我们没有办法说哪一种是最好的。还有两种较为常用的衡量标准:AIC和BIC。他们也满足当残差小时,标准大;当变量少时,标准大。然而他们对于模型多一个变量的惩罚和降低误差的奖励并不相同。因此,在选取不同的衡量标准后,所得到的模型并不一定相同。

变量选取逻辑二:看对新数据的预测效果。

如果说找到一个合适的衡量标准很难,那不如直接看模型的预测性。如果模型对新数据的预测很接近,那么我们就选定这个模型中有的变量即可。在这个时候,我们的衡量标准依旧是残差平方和(SSE),但是此时的残差并不是已经拿去构建模型的数据的残差,而是没有被用过的新数据的残差。然而这种衡量方式需要大量数据的支撑,如果数据量少,那么拿出一部分数据往往会使得模型由于样本量缺少而无法正确学习。

变量选取之后会有更多更深的内容,最优变量选取(best subset selection),逐步变量选取(stepwise selection and stagewise selection)以及参数放缩(parameter shrinkage: Lasso, Ridge and General Bayes)都可以作为变量选取的方法。感兴趣的可以继续深入学习哦~