赶集网租房子(爬虫爬取赶集网租房信息)
luoboai
|老铁们，大家好，相信还有很多朋友对于赶集网租房子和爬虫爬取赶集网租房信息的相关问题不太懂，没关系，今天就由我来为大家分享分享赶集网租房子以及爬虫爬取赶集网租房信息的问题，文章篇幅可能偏长，希望可以帮助到大家，下面一起来看看吧！
本文的文字及图片来源于网络,仅供学**、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理
importscrapy\nimportnumpyasnp\nimportpandasaspd\nimportmatplotlib.pyplotasplt2.加载scrapy框架
代码如下（示例）：
#terminal终端实现\ncd..#跳转到上一层目录\nscrapystartprojectbooktop#和项目同名的scrapy框架项目3.setting配置
代码如下（示例）：
ROBOTSTXT_OBEY=False#君子协议false不遵守\nUSER_AGENT='Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36\n(KHTML,likeGecko)Chrome/85.0.4183.121Safari/537.36'\nDOWNLOAD_DELAY=0.5#下载延迟4.spider编写
代码如下（示例）：
#spiders文件夹下创建python文件ganspider.py\nimportscrapy\nfromdemo6.itemsimportHouseItem\nclassGanJiSpider(scrapy.Spider):\nname="gan_spider"\nallowed_domains=["xiangyang.ganji.com"]\nstart_urls=["http://xiangyang.ganji.com/zufang/"]\n#解析数据\ndefparse(self,response,**kwargs):\n#print(response.text)测试
代码如下（示例）：
#在terminal终端进行\ncdgandemo#进入项目文件夹\nscrapycrawlgan_spider#运行项目下的爬虫（和name的值保持一致）\n#测试成功，看到页面代码5.获取数据（户型+价格)
代码如下（示例）：
#需要导入HouseItem类文件开头导入fromdemo6.itemsimportHouseItem\nfromdemo6.itemsimportHouseItem\nclassHouseSpider(scrapy.Spider):\nname="house_spider"\nallowed_domains=["xiangyang.ganji.com"]\nstart_urls=["http://xiangyang.ganji.com/zufang/"]\n#解析数据\ndefparse(self,response,**kwargs):\n#所有的房子\nhouses=response.css('dl.f-list-item-wrap.min-line-height.f-clear')\n#户型价格\nforhouseinhouses:\nsize=house.css('dd.dd-item.sizespan:first-child::text').extract()\n[0]\n#print(size)\nprice=house.css('div.pricespan.num::text').extract()[0]\n#print(price)\nyieldHouseItem(size=size,price=price)需要使用item对象完成数据封装并传输
代码如下（示例）：
#items.py书写房屋类\nclassHouseItem(scrapy.Item):\nsize=scrapy.Field()\nprice=scrapy.Field()\npass6.pipeline管道存储数据
代码如下（示例）：
#在setting文件下，解开注释\nITEM_PIPELINES={\n'booktop.pipelines.HousePipeline':300,\n}\n\n#数据存储到txt文件下\n#打开管道文件BooktopPipeline\nclassHousePipeline:\ndefprocess_item(self,item,spider):\nfile=open('house.txt','a+',encoding='utf-8')\nfile.write(item['size']+','+item['price']+'\\n')\nreturnitem\n#运行测试结果house.txt下有数据成功二、分析和可视化
代码如下（示例）：
#在项目中创建分析文件demo.py\nimportpandasaspd\nimportmatplotlib.pyplotasplt\n#数据源\ndata=pd.read_csv('house.txt',names=['size','price'])\nprint(data)\n#统计groupby不同户型的最高价max，最低价min，均价mean，\nresult=data.groupby('size').agg(['max','min','mean'])\nprint(result)\n#绘制不同户型均价折线图、柱状图\nimportmatplotlib\n#中文可显示\nfont={'family':'microsoftyahei',\n'weight':'bold',\n'size':12}\nmatplotlib.rc('font',**font)\nplt.title('不同户型房源示意图')\n#折线图柱状图\nplt.plot(result.index,result['price']['mean'],'r*--')\nplt.bar(result.index,result['price']['mean'])\nplt.show()
私信小编01即可获取大量Python学**资料
OK，本文到此结束，希望对大家有所帮助。