Python爬虫整站爬取安居客新房房源数据

本文链接：https://blog.csdn.net/weixin_44530636/article/details/95186197

对安居客新房房源进行整站爬取，全国所有城市的新房数据。

获取数据字段也主要集中在第一个页面，并未进行二层页面的挖掘
在持续爬取过程中，会出现验证码的过程，不过它的验证码还是比较友好的，
只需要在浏览器拖动图片就行，代码又能重新运行了。整个爬取过程中我只
拖动了两次。所以安居客是算非常友好的网站了，当然上述问题也可以使用代理IP
解决。接下来还可以做的，加上代理IP，加上多线程，进行二级页面的进一步挖掘。
在此感谢友好的安居客，给我们这些小白有了练手的网站。

"""
整站爬取安居客的新房数据
"""

import requests
import re
from pyquery import PyQuery as pq
import json
import csv


headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}


#获取所有城市列表
def get_city_page():
    city_url = "https://www.anjuke.com/sy-city.html"
    response = requests.get(city_url,headers=headers)
    if response.status_code == 200 :
        return response.content.decode("utf-8")
    else:
        return None


#解析城市列表,获得所有城市名称和url
def parse_city_name(html):
    doc = pq(html)
    items = doc(".letter_city ul li .city_list a").items()
    for item in items:
        city_name = item.text()
        city_url = item