统计学

龙望、胡智星

目录

  • 1 第一单元   绪论
    • 1.1 课程总体介绍
    • 1.2 理论部分
    • 1.3 应用部分
    • 1.4 单元小结
    • 1.5 随堂小练
    • 1.6 课后习题详解
    • 1.7 【思政案例】改革开放40年
  • 2 第二单元  数据的搜集
    • 2.1 理论部分
    • 2.2 应用部分
    • 2.3 单元小结
    • 2.4 随堂小测
    • 2.5 课后习题详解
    • 2.6 【思政案例】脱贫普查工作
  • 3 第三单元  数据的图表展示
    • 3.1 理论部分
    • 3.2 应用部分
    • 3.3 单元小结
    • 3.4 随堂小测
    • 3.5 课后习题详解
    • 3.6 【思政案例】数据可视化
  • 4 第四单元   数据的概括性度量
    • 4.1 理论部分
    • 4.2 应用部分
    • 4.3 单元小结
    • 4.4 随堂小测
    • 4.5 课后习题详解
    • 4.6 【思政导读】毛主席田野调查
  • 5 第五单元  概率与概率分布
    • 5.1 理论部分
    • 5.2 应用部分
    • 5.3 单元小结
    • 5.4 随堂小测
    • 5.5 课后习题详解
    • 5.6 【思政案例】正态分布与走出平凡
  • 6 第六单元  统计量及其抽样分布
    • 6.1 理论部分
    • 6.2 应用部分
    • 6.3 单元小结
    • 6.4 随堂小测
    • 6.5 课后习题详解
    • 6.6 【思政案例】统计监测与抽样调查
  • 7 第七单元  参数估计
    • 7.1 理论部分
    • 7.2 应用部分
    • 7.3 单元小结
    • 7.4 随堂小测
    • 7.5 课后习题详解
    • 7.6 【思政案例】中国统计思维
  • 8 第八单元  假设检验
    • 8.1 理论部分
    • 8.2 应用部分
    • 8.3 单元小结
    • 8.4 随堂小测
    • 8.5 课后习题详解
    • 8.6 【思政导读】假设检验思维
  • 9 第九单元  分类数据分析
    • 9.1 理论部分
    • 9.2 应用部分
    • 9.3 单元小结
    • 9.4 随堂小测
    • 9.5 课后习题详解
    • 9.6 【思政案例】从数据的角度看《泰坦尼克号》
  • 10 第十单元  方差分析
    • 10.1 理论部分
    • 10.2 应用部分
    • 10.3 单元小结
    • 10.4 随堂小测
    • 10.5 课后习题详解
    • 10.6 【思政案例】方差分析的应用
  • 11 第十一单元 一元线性回归
    • 11.1 理论部分
    • 11.2 应用部分
    • 11.3 单元小结
    • 11.4 随堂小测
    • 11.5 课后习题详解
    • 11.6 【思政导读】高尔顿与回归
  • 12 第十二单元 多元线性回归
    • 12.1 理论部分
    • 12.2 应用部分
    • 12.3 单元小结
    • 12.4 随堂小测
    • 12.5 课后习题详解
    • 12.6 【思政案例】统计学家:许宝騄
  • 13 第十三单元 时间序列分析和预测
    • 13.1 理论部分
    • 13.2 应用部分
    • 13.3 单元小结
    • 13.4 随堂小测
    • 13.5 课后习题详解
    • 13.6 【思政案例】统计学家:吴定良
  • 14 第十四单元 指数…
    • 14.1 理论部分
    • 14.2 应用部分
    • 14.3 单元小结
    • 14.4 随堂小测
    • 14.5 课后习题详解
    • 14.6 【思政案例】统计学家:戴世光
  • 15 【选学】专题1:统计调查
    • 15.1 调查问卷基础知识
    • 15.2 网络问卷实操
    • 15.3 趣味统计故事会
  • 16 【选学】专题2:空间统计基础
    • 16.1 理论:空间统计学
    • 16.2 应用1:空间模式识别
  • 17 【选学】专题3:多元统计分析
    • 17.1 多元统计分析入门
    • 17.2 【实操案例】K-means聚类分析
    • 17.3 【实操案例】主成分分析
  • 18 【选学】专题4:高级统计工具
    • 18.1 R语言之Rstudio入门
    • 18.2 python之Jupyter notebook入门
    • 18.3 数据可视化BI工具
  • 19 【选学】专题6:统计建模竞赛
    • 19.1 大学生统计建模培训
    • 19.2 空间计量建模
  • 20 国贸专题:国际贸易网络流数据分析
    • 20.1 网络计量方法
    • 20.2 国际贸易网络分析实践
  • 21 审计与财管专题:统计实务
    • 21.1 ppt
    • 21.2 应用案例
  • 22 数经与财管专题:商务大数据分析
    • 22.1 RFM:识别客户群体
    • 22.2 文本大数据
  • 23 数经与金科专题:从统计到机器学习
    • 23.1 从统计到机器学习
【思政案例】方差分析的应用

方差分析在商业场景中的应用

——以北上广深房屋租金分析为例 

案例简介

北上广深作为一线城市,吸引了一批又一批年轻人追求梦想,房屋租金价格也一直居高不下。那么这四个城市租金水平是否有差异呢,如何挑选“性价比”最高的城市呢?本案例通过方差分析的方法,验证北上广深四大一线城市间的租房价格是否存在显著差异,并探索各个城市房源是否处于市区对租金的影响。


方差分析介绍

方差分析(ANOVA)又被称作“F检验”,是用来研究分类型自变量对数值型因变量的影响。从形式上看,方差分析是比较多个总体之间的均值是否有显著差异的研究。在方差分析中,往往把作为结果的变量称为因变量,把作为原因的、把观测结果分成几组以进行比较的变量称为自变量。自变量通常也被称为因素,因素的不同表现也被称为因素的水平。只有一个自变量的方差分析称为单因素方差分析,如果同时研究多个因素对因变量的影响,则称为多因素方差分析。

方差分析主要是通过对数据误差的来源进行分析从而判断不同总体均值是否相等的,其原假设为各个总体之间的均值均相等。在单因素方差分析中,任何一个样本数据都包含了三部分因素的影响:总体平均水平的影响,因素水平的影响,以及随机因素的影响。具体可以写为:

中,代表因素的不同水平,代表同一因素水平下不同的观测值,代表总均值,代表第组的均值,代表第组均值与总均值的差,代表随机误差项。

在方差分析中,数据误差是用平方和来表示的,总离差平方和SST也称为总变异,。组间离差平方和SSA也称为解释的变异,。组内离差平方和SSE是与自变量无关的不可控因素引起的变异,。三者间有如下关系:SST = SSA + SSE。将SSA与SSE分别除以其相应的自由度得到组间均方MSA和组内均方MSE。检验统计量,该统计量服从自由度为分布。

多因素方差分析可以同时分析多个因素对因变量的影响,与单因素方差分析思路相同,其优势在于可以分析因素之间的交互作用。当一个因素对因变量的影响受另一因素影响时,则两个因素间存在交互作用。

背景及数据说明

随着北上广深等城市住房价格的逐步上升,购买房屋对于大部分刚毕业的学生来说难以负担,因此越来越多的年轻人开始转而通过租房这一途径来提升自己在一线城市的归属感。本案例将通过方差分析的方法,研究北上广深四大一线城市间的租房价格是否存在显著差异。

本案例数据集来源于某租房平台网站,共包括北京、上海、广州和深圳四大一线城市的租房信息。经过数据预处理后,最终得到7130条样本数据,每一条样本代表一个房源信息。本文的数据集包含三个变量,月租价格、城市以及是否市区。由于本案例的研究目的为探究四大一线城市的房屋月租价格是否存在显著差异,因此将月租价格作为因变量,将房源所在城市和是否市区作为自变量。具体变量情况见表2-1。

表2-1 数据说明表

描述分析

(一)因变量

本案例的因变量为房源的月租价格,绘制该变量的分布直方图如图3-1左图所示。从图中可以看出,因变量呈现明显的右偏分布,大部分房源的价格集中在10,000元以下,仅有极少数房源的月租价格超过20,000元,本数据集存在个别房源月租价格极高的情况。在本数据集中,月租价格的中位数为6,300元,均值为8,710元。图3-1右图为对数月租价格分布直方图,可以看出通过对该变量取对数后分布形态对称性较好,因此在本案例的方差分析建模部分选取对数后的月租价格作为因变量。

图3-1 月租价格分布直方图

(二)自变量

本案例中自变量有两个,分别为城市和是否市区。首先绘制对数月租价格关于两个自变量的箱线图如图3-2所示。从图3-2左图中可以看出,不同城市的房源月租价格存在一定差异,其中北京的房源月租价格最高,其次分别为上海、深圳和广州。这与现实较为符合,根据58安居客房产研究院2022年6月发布的《一线城市挂牌租金变化情况》显示,北京作为我国的经济和文化中心,其房租价格在全国位列第一。通过图3-2右图可以看出,位于市区的房源月租价格高于非市区房源,这主要是因为相较于非市区房源,市区房源的交通更加便利,周边生活设施更加完善,会一定程度上提高房客的幸福感。

图3-2 城市与是否市区箱线图

由于城市与是否市区两个自变量可能对因变量存在交互作用,因此尝试绘制分组箱线图。通过观察图3-3可以看出,无论在哪个城市,位于市区的房源其平均月租价格均高于非市区房源。但不同城市二者之间的差距有所不同,其中北京、深圳两个城市的差距较大,上海、广州的差距较小。这可能与每个城市的行政区划和场所分布有关。以北京为例,北京城市较大,居住在怀柔、房山等区上班通勤需要较长时间,同时较大的生活功能区和办公区都分布在朝阳、海淀等区,因此很大程度提升了市区的房租价格。

图3-3 分组箱线图

方差分析

本部分将通过方差分析的方法检验城市和是否市区变量对月租价格是否有显著影响。

(一)单因素方差分析

首先针对城市自变量进行单因素方差分析,因变量取对数月租价格。记城市i第j个观测的对数月租价格为 ,城市i的平均对数月租价格为 ,误差项为 ,则单因素方差分析模型如下:

单因素方差分析原假设 为: 北 京 上 海 广 州 深 圳 ,通过R计算,检验结果如表4-1所示。从表中可知, 值小于0.001,说明不同城市整租房源的月租价格存在显著差异。

表 4-1 单因素方差分析表-城市

为探索各个城市之间的房租价格究竟有何差异,进一步进行多重比较,结果如表4-2所示。其中,均值差表示组别中第一个城市与第二个城市的对数月租价格之差,若为负数说明第一个城市价格低于第二个城市。从表中可以看到,所有组别检验p值均小于0.001,北京、上海、广州、深圳中任意两个城市整租房源的月租价格均有显著差异。此外,与北京对比的所有组别均值差为负,且上海-北京、深圳-北京、广州-北京均值差的绝对值依次增大,说明四个城市根据整租房源月租价格由高到低的排序为北京、上海、深圳、广州,与描述分析中箱线图展示结果一致。

表 4-2 多重比较表-城市

通过图4-1多重比较可视化图能更直观地展示两城市之间对数月租价格的均值差异。所有组别均值差的置信区间均不包含0,说明任意两个城市整租房源的月租价格均有显著差异。

图 4-1 多重比较的可视化-城市

(二)双因素方差分析

由描述分析可知,不同城市的市区房源和非市区房源价格差距不同,城市和是否市区变量可能存在交互作用。因此,本节将城市和是否市区两个变量纳入考虑范围,同时加入城市和是否市区的交互作用项进行双因素方差分析。记城市 、是否市区 的第 个观测对数月租价格为 ,城市效应为 ,市区效应为 ,交互效应为 ,误差项为 ,则有交互作用的双因素方差分析模型如下:

通过R进行方差分析,结果如表4-3所示。从表中可知,方差分析 值小于0.001,城市和是否市区变量对因变量对数月租价格影响显著。

表 4-3 双因素方差分析表-城市*是否市区

通过多重比较进一步探索各个城市不同位置房源价格的差异,结果如表4-4所示。由表可知,绝大部分组别检验值小于0.001,房源价格有显著差异,并且可以进一步探索城市和是否市区交互项的作用。以北京与上海房源租金对比为例,上海:否-北京:否、上海:是-北京:否、北京:是-上海:否三个组别均值差为正,上海:是-北京:是组别均值差为负,说明上海市区和非市区房源价格均高于北京非市区房源,而北京市区房源价格则高于上海市区和非市区房源,北京市区房源拉高了北京房源的整体月租价格。此外,值得注意的是,上海市区和非市区房源价格差异不显著,这可能是由于上海市部分行政区面积较大,包含中心和非中心的区域,使本案例中对市区和非市区的划分不够准确,影响市区和非市区房源价格的对比。而北京市区和深圳市区整租房源的月租价格差异也不显著,可能是由于深圳商业区较为集中,市区房源需求量大,整租价格较高。

表 4-4 多重比较表-城市*是否市区

结论

本案例首先通过描述分析直观地反映不同城市、市区或非市区整租房源的月租价格差异,并利用方差分析对城市和是否市区变量进行检验,验证了城市和是否市区变量对因变量月租价格的显著影响。具体结论如下:

(1)北上广深四个城市中,任意两个城市整租房源月租价格存在显著差异,并且四个城市整租价格由高到低依次为北京、上海、深圳、广州。

(2)是否市区对整租房源的月租价格存在显著影响,且是否市区变量与城市变量存在交互作用。在四个城市中,市区整租房源价格均高于非市区整租房源价格,上海市区和非市区整租房源的月租价格差距最小。