Python简单爬虫项目

项目搭建过程

一、新建python项目

在对应的地址 中 打开 cmd
输入：scrapy startproject first

2、在pyCharm 中打开新创建的项目，创建spider 爬虫核心文件ts.py

import scrapy
from first.items import FirstItem
from scrapy.http import Request # 模拟浏览器爬虫

class WeisuenSpider(scrapy.Spider):
name = ‘ts’
allowed_domains = [‘hellobi.com’]
start_urls = (
‘https://edu.hellobi.com/course/100/‘,
)
# 模拟浏览器爬虫
def start_requests(self):
ua={
“User-Agent”: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883