摘 要贝壳找房目前是人们最常用的二手房购买信息获取平台，通过贝壳找房，人们能够获取到自己感兴趣的房源信息。同时，贝壳找房也在搜集人们在访问贝壳平台留下的一些信息，通过后台大数据手段，分析这些数据背后蕴藏的价值。因此，研究贝壳平台的数据抓取和分析具有一定的现实意义。本课题采用Python网络爬虫，Flask作为实现框架，使用Request对网站发出请求信息，最后使用ECharts和数据库进行可视化设计和开发了贝壳二手房数据爬取与分析系统。本课题综合应用大数据专业的多项技术，着重分析二手房市场的发展趋势，为房产交易从业者提供便利，有很高的市场应用价值。
目 录
一、引言 1
（一）研究背景 1
（二）研究目的及研究意义 1
（三）研究内容 1
二、关键技术介绍 2
（一）Python 2
（二）Navicat 2
（三）Pandas 2
（四）Nginx 2
（五）JavaScript 2
（六）Echarts 3
三、数据采集与存储 3
（一）结构分析 3
（二）数据获取 6
四、数据清洗 7
（一）数据浏览 7
（二）数据去重处理 8
五、数据可视化 9
（一）可视化详细介绍 9
（二）可视化大屏界面 20
六、总结 22
致谢 23
参考文献 24
附录 各部分详细代码 25
引言
近年来，随着我国经济的快速发展，人民群众对于居住的品质要求越来越高，在收入增长之后，人们将焦点关注到一些品质较高的二手房市场，因此二手房市场的交易非常活跃。而在二手房交易市场，如何获取有效的二手房信息成为广大消费者关注的一个热点问题。目前提供二手房交易信息咨询的网站有很多，贝壳平台是其中最为出名的一个。贝壳平台集合了很多房屋中介的房源信息，为人们提供一站式的房源咨询和交易服务。通过贝壳交易平台，人们也留下了一些数据足迹，通过采用大数据手段，对贝壳交易平台进行数据分析，能够获取更多有价值的信息，分析出二手房交易的一 *51今日免费论文网|www.51jrft.com +Q: ^351916072* 
些趋势，为广大消费者提供购房参考。
（一）研究背景
当前，大数据技术已经成为IT行业最为令人注目的一项技术，大数据技术能够对海量的数据进行分析，挖掘数据背后的规律，为人们提供生活参考和决策依据。目前，我国在二手房市场已经呈现出爆炸性的发展态势，很多基于互联网的找房平台成为人们必不可少的工具，贝壳平台是我国目前市场占有率最高的房源信息发布平台，通过该平台，人们能够获取海量的二手房信息，但是，如何在海量的二手房信息发现房屋销售的趋势，为自己购买房屋提供参考，需要大数据手段的应用，本文就是在这样的背景下，运用python技术对其网站平台数据进行抓取并进行大数据分析。
（二）研究目的及研究意义
课题研究的目的是:本课题研究的目的是希望运用所学习的网络爬虫技术，解决二手房信息搜索不准确的问题，通过对贝壳二手房网站的数据进行抓取，以为例，开发一个面向苏州地区二手房用户的大数据查询平台，为人们提供更加科学的二手房信息分析平台，为的二手房买家提供参考。
课题研究的意义是：二手房行业发展非常火爆，二手房交易市场活跃，但是，如何在海量的二手房信息中对未来的二手房行情进行预测，同时对不同区域的二手房信息进行精准的检索，是的二手房买家关注的热点。由于缺乏相应的手段，人们对于二手房的交易态势不能做到科学的预测，而通过大数据的技术，以贝壳二手房信息来源为基础，进行大数据挖掘与分析，具有一定的实践意义。
（三）研究内容
本文将贝壳找房网站的公开数据进行爬取，并且将数据保存至数据库再次分析，通过去重分析后得到需要的数据，在ECharts官网上找到需要的模板图进行修改完善且搭配上数据格式，将多个ECharts图表链接到HTML页面中相对应的位置形成最终的可视化大屏。
本文采用Requests请求网站，通过对网页结构分析找到所需要的数据，爬取页面信息，通过去重处理保存到SQL数据库，通过Nginx进行调用，将ECharts各个图表链接到HTML页面中的各个位置，最后完成数据可视化。
研究的主要内容如图11所示。
图11 主要研究内容
关键技术介绍
本文涉及数据采集、清洗、分析、可视化等大数据的技术，采用Flask等框架或软件，下面进行详细介绍。
（一）Python
Python[1]是完全面向对象的语言。由于Python在设计时就特别注重对于数据的分析，可以扩展很多数值计算的类库，为用户提供很多调用接口，因此，特别适合大数据时代对数据的要求。因此，得到了广泛的应用。Python在编程语言中的排名，近年来一直位前三名，受欢迎程度甚至超过了C++和C#。
（二）Navicat
Navicat是一套轻便、小巧而且廉价的数据库管理工具，发明的初衷即为了降低系统管理成本，同时便于专业人士对系统进行管理操作。而且也是一个专业且可靠的数据库管理和开发工具，但它对于新用户更易于学习。于是可以将其作为此次设计数据库管理的优选。
（三）Pandas
Pandas[3]是一种基于NumPy的工具，Pandas 是 Python 语言的一个扩展程序库，用于数据分析。Pandas最大的好处是充分解决数据，让运行的数据任务得到很好的分析；Pandas 广泛应用在学术、金融、统计学等各个数据分析领域。而且Pandas也包含了处理数据的函数和方法。
（四）Nginx
Nginx[4]作为一个高性能的HTTP和反向代理Web服务器，因为Nginx是一个跨平台的。这里把python打包的API文件接口发送给Nginx进行转发处理，从而解决跨域问题，主要的作用就是中转站。
（五）JavaScript
JavaScript[5], 作为一款Web网页制作的脚本语言，而且支持面向对象，现在的浏览器都采用并支持JavaScript, 所以现在的JavaScript已经成为前端开发人员必备的语言之一。

原文链接：http://www.jxszl.com/jsj/wlw/607592.html