日期 2022.04 摘 要本文记述了贝壳网苏州市区域可视化系统的实现。本系统可以做到爬取贝壳网上的房源租赁数据，数据清洗，数据分析以及可视化结果展示给用户。本课题采用scrapy爬虫、Echarts可视化等大数据技术，聚合贝壳网房源数据信息，设计和开发了基于scrapy爬虫技术的数据采集分析与可视化系统。本课题的主要内容如下数据爬取和持久化。理解网站结构后，采用xpath来获取指定字段的数据，并存入csv文件中；数据清洗和标准化。对爬取的数据进行查看，对不合理的数据进行清洗、转换；数据分析和知识发现。分析属性特征，对爬取下来的字段进行分析，选择一个图表可视化；结果展示。使用echarts可视化技术，将可视化的数据图表集成到一个大屏上，提供给用户参考。本课题具体分析苏州市房源市场的现况，求房者、想了解苏州市房源现况的用户提供了参考的便利，具有一定的市场应用价值。
[Key words] scrapy; web crawler; data analysis; visualization一、引言
本章首先介绍的是本系统课题的研究背景，简单阐述当前苏州市房源的发展情况、现状。对本系统的研究与解决，以及本系统研究的目的与意义进行了简要概述。
（一）研究背景
房地产市场是关乎国计民生的重要经济产业，近期中央多个部委召开会议强调保持楼市调控政策的连续性和稳定性，在“房住不炒”基调指导下，地方政府在房地产监管上因城施策，苏州作为长三角区域的房市热点城市，调控政策也聚焦稳低价、稳房价、稳预期等方面持续发力，力争确保房地产市场平稳健康发展。本文选取苏州地区二手房市场作为研究对象，使用Python 爬虫采集网上的二手房源挂牌信息， 以爬取的信息数据为分析依据，从价格趋势、房源类型、热点区域等多个维度分析二手房市场的现状，并将分析结果数据进行可视化处理，方便用户参考决策。
（二）背景意义
大数据技术的不断发展，已经广泛应用到社会的各个领域。随着国家的发展以及苏州当地政府对政治、经济、管理各个方面的落实，苏州人民经济收入提高，许多慕名城市生活的人争相涌进城市买房或租房使用。同时房源地段较好，生活设施完善，选择面广 *51今日免费论文网|www.51jrft.com +Q: ￥351916072￥ 
，价格多元化也成为了许多人的购房选择。利于大数据的发展，大批房源租赁交易网站也不断扩大完善。虽然房源数量增多，但同时市场的发展也存在很多的问题，一方面是供远远小于求，尤其缺少优质的房资源；另一方面交易成本太高，房产中介横行。所以本系统基于scrapy爬虫的贝壳网苏州区域可视化系统可以提供遍历给有需要了解苏州市房源的用户。
本次毕业设计以scrapy爬虫为基础，运用爬虫技术进行数据采集，选择Python语言进行数据预处理和分析，对清洗之后的数据使用echarts可视化技术，将图表可视化展示出来。
（三）研究内容
本项目运用scrapy技术设计爬虫程序爬取贝壳网站的房源信息数据，包括二手房、新楼盘、写字楼等的信息；其次市对采集的数据进行预处理，清洗脏数据；最后市分析和可视化，需要对数据进行分析，对每一种字段数据选择一种合理的图表，将其可视化，最终集成到一个数据大屏展示。
首先是数据采集部分，使用scrapy爬取贝壳网上的数据，并将爬取的数据存储到csv文件中。其次，对数据进行预处理：将采集下来的的数据进行数据清洗、去重处理、去空处理等操作。数据分析和可视化：使用python语言对数据进行计算、汇总等操作，得出一组直观的数据，最后使用echarts将数据映射到html大屏。
图11 主要研究成果
二、二手房源数据采集和预处理
数据来源以及变量设计是由于城乡二手房源的价格悬殊问题，偏远区域的房源人流量很小以及通性也很小，本文仅爬取苏州市贝壳二手房数据进行分析，对二手房市场的实状况进行多维度分析。此外，由各城区二手房样本量超过3000之后信息会出现大量干扰或无效信息，进行筛选分析后决定爬取各区约3000份房源样本，并剔除了面积在10000平方以上特殊房源。通过网页研究，将各主城区二手房源的小区、地段、面积、建设年代、 朝向、装修、税率、价格等信息作为研究变量，从而确定 Python爬虫需要从网站抓取的数据范畴。
通过对市场调研以及认可度较高的安居客、链家网、贝壳网等二手房挂牌网站进行的初步观察统计发现，贝壳网依托分布广泛、覆盖全面的线下门店系统，能够实时动态更新其网站的二手房信息，并能对海量的房源数据进行严格审查，从而确保网站数据的真实可靠，能够很好地反应苏州当地的二手房市场状况。
三、数据爬取过程设计
Requests 库作为Python 常用的HTTP 库之一，在友好继承urlib 标准库的规范的基础上，对主要的爬虫模块进行了高度封装，便于用户更加方便快捷地进行 web 数据的爬取操作。
为了有效应对网站的反爬虫机制，本文对爬虫的请求头进行了伪装处理，在头部信息中添加了浏览器 表示和访问地址，使得HTTP 请求在实际运行中能够模拟人的操作。循环爬取每个行政区至少3000 个房源信息，利用BeautifulSoup 对站点数据进行解析，从中获取房源标题、小区、位置、税率、总价、单价等信息，通过切割房源标签，获得面积、朝向、装修、建设年份等，并将数据结构化处理存入DataFrame。
图12房源信息
四、键技术介绍
本文涉及数据爬取、数据清洗、数据分析、数据可视化等技术，下面对上诉内容进行详细介绍。
本系统是基于Python语言进行开发的，其中包括数据可视化、数据获取和存储，数据清洗和分析这几个功能模块。本章主要介绍实现贝壳网苏州市区域可视化系统开发所需的关键的技术。
（一）开发语言
本系统使用python语言进行开发，由于Python语言具有简洁易读以及可扩展等特性,这使得开源且工具包丰富的Python能够使用简单的工具实现简洁美观的可视化效果，下面简单介绍一下Python语言以及它的优点。
(1)简单易学
Python是一种代表简单主义思想的语言。Python最大的优点是具有伪代码的本质,它使my在开发Python程序的时候,专注的是解决问题,而不是搞明白语言本身。
(2)开源
Python是FLOSS(自由/开放源码软件)之一。简单地说,可以自由的发布这个软件的拷贝,阅读它的源代码,对它进行改动,把它的一部分用于新的自由软件中。

原文链接：http://www.jxszl.com/jsj/wlw/607584.html