如何检验线性回归模型的显著性？

1. 如何检验线性回归模型的显著性？

P值是拒绝原假设的值。
回归系数P的检验是t检验，当P<α值，即回归系数显著，拒绝原假设。
回归模型检验是检验模型是否合适，通过F检验，当F检验P<α，则模型显著，即反映的总体回归。
通过这两种检验，而且符合经济自然规律后的模型可预测。
如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且自变量之间存在线性相关，则称为多重线性回归分析。

扩展资料：
在许多自变量共同影响着一个因变量的关系中，判断哪个（或哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影响显著的自变量加入模型中，而剔除影响不显著的变量，通常用逐步回归、向前回归和向后回归等方法。
利用所求的关系式对某一生产过程进行预测或控制。回归分析的应用是非常广泛的，统计软件包使各种回归方法计算十分方便。
在回归分析中，把变量分为两类。一类是因变量，它们通常是实际问题中所关心的一类指标，通常用Y表示；而影响因变量取值的的另一类变量称为自变量，用X来表示。
回归分析研究的主要问题是：
（1）确定Y与X间的定量关系表达式，这种表达式称为回归方程；
（2）对求得的回归方程的可信度进行检验；
（3）判断自变量X对因变量Y有无影响；
（4）利用所求得的回归方程进行预测和控制。
参考资料来源：百度百科——回归分析

2. 关于多元线性回归模型的显著性检验

综述：这句话分两种情况考虑。
第一，在一元线性回归的情况下，由于只有一个系数需要检验，所以回归方程的F检验与系数的T检验的结果是一直的。
第二，在多元线性回归的情况下，方程总体的线性关系检验不一定与回归系数检验结果一致。通常的情况是，方程的总体线性关系是显著的，但是某个变量的影响却并不显著。
因为，方程总体的线性关系显著性F检验的备择假设是估计参数不全为0，所以当某个参数的t检验通过（即拒绝零假设，参数不为0），则很可能影响到总体线性检验拒绝零假设。
回归模型（regression model）对统计关系进行定量描述的一种数学模型。如多元线性回归的数学模型可以表示为y=β0+β1*x+εi，式中，β0，β1，…，βp是p+1个待估计的参数，εi是相互独立且服从同一正态分布N(0,σ2)的随机变量，y是随机变量；x可以是随机变量，也可以是非随机变量，βi称为回归系数，表征自变量对因变量影响的程度。


回归分析
回归模型重要的基础或者方法就是回归分析，回归分析是研究一个变量（被解释变量）关于另一个（些）变量（解释变量）的具体依赖关系的计算方法和理论，是建模和分析数据的重要工具。在这里，我们使用曲线／线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。

3. 多元线性回归的显著性检验包含哪些内容？如何进行

4. 为什么一元线性回归模型中不进行方程显著性检验

一元线性回归分析，模型的方程系数T检验与方程显著性F检验是结果是一致的，所以只需要对系数进行T检验就可以了。这个检验的虚无假设是所有预测变量的回归系数都不显著，如果这一步没有得到满意的结果，那接下来的其他内容就没什么必要看了。

扩展资料：
一元线性回归模型表示如下：
yt = β0 + β1 xt +ut （1） 上式表示变量yt 和xt之间的真实关系。其中yt 称作被解释变量（或相依变量、因变量），xt称作解释变量（或独立变量、自变量），ut称作随机误差项，β0称作常数项（截距项），β1称作回归系数。
xt是影响yt变化的重要解释变量。β0和β1也称作回归参数。这两个量通常是未知的，需要估计。t表示序数。当t表示时间序数时，xt和yt称为时间序列数据。当t表示非时间序数时，xt和yt称为截面数据。
ut则包括了除xt以外的影响yt变化的众多微小因素。ut的变化是不可控的。

5. 如何进行回归系数的显著性检验?

回归系数的显著性检验：
英文(significance test ofregression coefficient)
对于线性回归模型y，=Bo+B1xu +…+B.xip+ei(i=1.….n)，检验一个或几个回归系数组成的系数向量B，x1(q≤p)对于响应变量是否有显著影响的方法。
一般地，假设问题归结为H0Bx1=0对H1B,x140，当原假设不能被拒绝时，表明。xl所对应的回归变量与响应变量之间没有明显的线性相关关系。
1、回归方程的显著性检验

(1) 回归平方和与剩余平方和

建立回归方程以后, 回归效果如何呢？因变量与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和

,

其中:

称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。

称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。总的离差平方和的自由度为。

如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。

6. 多元线性回归的显著性检验有哪些步骤？

回归系数b1的显著性检验
检验x 与 y 之间是否具有线性关系，或者说，检验自变量 x 对因变量 y 的影响是否显著

在一元线性回归中，等价于回归方程的显著性检验

对于多元线性回归分析，回归方程的显著性检验检验了模型总体的自变量和因变量之间的线性关系是否显著，而回归系数的显著性检验则检验了每一个自变量前面的回归系数对因变量 y 的影响是否显著

回归系数显著性检验的步骤—t检验
总平方和(SST)

反映因变量的 n 个观察值与其均值的总离差

回归平方和(SSR)

反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和

残差平方和(SSE)

反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和

样本决定系数（判定系数 r2 ）
回归平方和占总离差平方和的比例

回归方程的显著性检验 （线性关系的检验 ）
检验自变量和因变量之间的线性关系是否显著

具体方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著

如果是显著的，两个变量之间存在线性关系

如果不显著，两个变量之间不存在线性关系

7. 为什么一元线性回归模型中不进行方程显著性检验

一元线性回归分析，模型的方程系数T检验与方程显著性F检验是结果是一致的，所以只需要对系数进行T检验就可以了。这个检验的虚无假设是所有预测变量的回归系数都不显著，如果这一步没有得到满意的结果，那接下来的其他内容就没什么必要看了。

扩展资料：
一元线性回归模型表示如下：
yt = β0 + β1 xt +ut （1） 上式表示变量yt 和xt之间的真实关系。其中yt 称作被解释变量（或相依变量、因变量），xt称作解释变量（或独立变量、自变量），ut称作随机误差项，β0称作常数项（截距项），β1称作回归系数。
xt是影响yt变化的重要解释变量。β0和β1也称作回归参数。这两个量通常是未知的，需要估计。t表示序数。当t表示时间序数时，xt和yt称为时间序列数据。当t表示非时间序数时，xt和yt称为截面数据。
ut则包括了除xt以外的影响yt变化的众多微小因素。ut的变化是不可控的。

8. 回归系数的显著性检验

回归方程及回归系数的显著性检验


1、回归方程的显著性检验

(1) 回归平方和与剩余平方和

建立回归方程以后, 回归效果如何呢？因变量与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和

,

其中:

称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。

称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。总的离差平方和的自由度为。

如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。

(2) 复相关系数

为检验总的回归效果, 人们也常引用无量纲指标

, (3.1)

或

, (3.2)

称为复相关系数。因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。显然。复相关系数越接近1, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的5到10倍为宜。

(3) 检验

要检验与是否存在线性关系, 就是要检验假设

, (3.3)

当假设成立时, 则与无线性关系, 否则认为线性关系显著。检验假设应用统计量, (3.4)

这是两个方差之比, 它服从自由度为及的分布, 即

, (3.5)

用此统计量可检验回归的总体效果。如果假设成立, 则当给定检验水平α下, 统计量应有

≤, (3.6)

对于给定的置信度α, 由分布表可查得的值, 如果根据统计量算得的值为, 则拒绝假设, 即不能认为全部为O, 即个自变量的总体回归效果是显著的, 否则认为回归效果不显著。

利用检验对回归方程进行显著性检验的方法称为方差分析。上面对回归效果的讨论可归结于一个方差分析表中, 如表3.1。

表3.1 方差分析表

来 源

平方和

自由度

方 差

方差比

回 归









剩 余







总 计







根据与的定义, 可以导出与的以下关系:

,

。

利用这两个关系式可以解决值多大时回归效果才算是显著的问题。因为对给定的检验水平α, 由分布表可查出的临界值, 然后由即可求出的临界值:

, (3.7)

当时, 则认为回归效果显著。
例3.1 利用方差分析对例2.1的回归方程进行显著性检验。

方差分析结果见表3.2。

表3.2

来 源

平方和

自由度

方 差

方差比

回 归









剩 余







总 计







取检验水平α＝0.05, 查分布表得, 而, 所以例2.1的回归方程回归效果是显著的。


2、回归系数的显著性检验

前面讨论了回归方程中全部自变量的总体回归效果, 但总体回归效果显著并不说明每个自变量对因变量都是重要的, 即可能有某个自变量对并不起作用或者能被其它的的作用所代替, 因此对这种自变量我们希望从回归方程中剔除, 这样可以建立更简单的回归方程。显然某个自变量如果对作用不显著, 则它的系数就应取值为0, 因此检验每个自变量是否显著, 就要检验假设:, , (3.8)

(1) 检验:

在假设下, 可应用检验:

, , (3.9)

其中为矩阵的对角线上第个元素。

对给定的检验水平α, 从分布表中可查出与α对应的临界值, 如果有, 则拒绝假设, 即认为与0有显著差异, 这说明对有重要作用不应剔除; 如果有则接受假设, 即认为成立, 这说明对不起作用, 应予剔除。

(2) 检验:

检验假设, 亦可用服从自由度分别为1与的分布的统计量

, (3.10)

其中为矩阵的主对角线上第个元素。对于给定的检验水平α, 从分布表中可查得临界, 如果有, 则拒绝假设, 认为对有重要作用。如果, 则接受假设, 即认为自变量对不起重要作用, 可以剔除。一般一次检验只剔除一个自变量, 且这个自变量是所有不显著自变量中值最小者, 然后再建立回归方程, 并继续进行检验, 直到建立的回归方程及各个自变量均显著为止。

最后指出, 上述对各自变量进行显著性检验采用的两种统计量与实际上是等价的, 因为由(3.9)式及(3.10)式知, 有

(3.11)

例3.2 对例2.1的回归方程各系数进行显著性检验。

经计算:

,

于是

,

其中＝0.002223, ＝0.004577。由(3.7)式知

,

,

查分布表得, , 因为, , 所以两个自变量及都是显著的。又由, 说明体长比胸围对体重的影响更大。

如果应用检验, 查分布表有, 又由

,

,

因为, , 因此及都是显著的, 均为重要变量, 应保留在回归方程中。

(3) 偏回归平方和

检验某一自变量是否显著, 还可应用偏回归平方和进行检验。

个自变量的回归平方和为

,

如果自个自变量中去掉, 则剩下的个自变量的回归平方和设为, 并设

,

则就表示变量在回归平方和中的贡献, 称为的偏回归平方和或贡献。可以证明
偏回归平方和越大, 说明在回归方程中越重要, 对的作用和影响越大, 或者说对回归方程的贡献越大。因此偏回归平方和也是用来衡量每个自变量在回归方程中作用大小(贡献大小)的一个指标。

例如在例2.1中, 和的偏回归平方和分别为

,

,

, 说明在回归方程中的作用比大。

又如在例2.2中及的偏回归平方和分别为:

,

,

,

,

的值最小, 即在回归方程中所起的作用最小, 最大, 说明在回归方程中所起的作用最大。
, (3.12)