爬虫期末考试笔记(选择题).doc

爬虫期末考试笔记(选择题) 爬虫是指按照一定的规则自动请求万维网网站并提取网络数据的程序或脚本。爬虫可以按照使用场景分为通用爬虫和聚焦爬虫。通用爬虫又被称为全网爬虫，而聚焦爬虫又被称为主题网络爬虫。按照爬取形式又分为累积式爬虫和增量式爬虫。增量式爬虫只会在需要时爬行新产生或发生变更页面，并不会重新下载没有发生变化的页面。 爬虫爬取步骤是：选取一些网页，将这些网页的链接地址作为种子 URL，将这些种子 URL 放入到带爬取的 URL 队列中。爬虫从待爬取的 URL 队列中依次读出 URL，并通过 DNS 解析 URL，把链接地址转换为网站服务器所对应的 IP 地址，将 IP 地址和网页对应路径名称交给网页下载器，网页下载器负责页面内容的下载。网页下载器将相应的网页内容下载到本地，将下载到本地的网页存储到页面库中，等待建立索引等后续处理。于此同时，将下载过的网页的 URL 放入到以爬取的 URL 队列中，这个队列记载了爬虫系统已经下载过的网页 URL，以避免重复下载。 robots.txt 文件是爬虫系统中的一种协议，用于限定网络爬虫的访问范围，保护没有被密码保护的页面。这个文件使用“#”进行注释，可以包含一条记录，也可以包含多条记录。 User-Agent 是一种描述搜索引擎的名字，Disallow 是用于描述不希望被访问到的一个 URL，可以是完整路径，也可以是不完整路径。Allow 是用于描述希望被访问到的一组 URL，它只是一种建议，没有实际的约束力，网络爬虫可以选择不遵守这个协议。 防爬虫的策略有设置 User-Agent，使用代理 IP，降低访问频率，验证码限制浏览网页的过程等。 浏览器通过 DNS 服务器查找域名对应的 IP 地址，向 IP 地址对应的 Web 服务器发送请求，Web 服务器响应请求，发回 HTML 页面，浏览器解析 HTML 内容，并显示出来。统一资源定位符是互联网上的每个文件都有唯一的 URL，URL 地址由协议头、服务器地址、文件路径组成。 HTTP 的默认端口是 80，HTTPS 是 443。一个域名必须对应一个 IP 地址，一个 IP 地址可能对应零到多个域名。客户端 HTTP 请求格式由请求行、请求头部、空行、和请求数据四部分组成。重要的请求报头有 User-Agent、Accept、Referer、Accept-Encoding、Accept-Charset 等。 服务端 HTTP 响应格式由状态行、响应报头、空行、响应正文四部分组成。响应状态码有 200 表示请求成功、404 表示服务器无法找到请求页面、403 表示服务器拒绝访问、权限不够、500 表示请求未完成等。 urllib 库是 Python 内置的 HTTP 请求库，urllib 库包含四大模块：urllib.request、urllib.error、urllib.parse、urllib.robotparser。urllib.request 模块用于发送 HTTP 请求，urllib.error 模块用于处理异常，urllib.parse 模块用于解析 URL，urllib.robotparser 模块用于解析 robots.txt 文件。urlopen() 方法是 urllib.request 模块中的一种方法，用于发送 HTTP 请求。