网络爬虫 - 字体反爬（十二）

一、认识字体

在爬虫爬取页面的时候，页面中的代码是乱码，但是在人眼看到的是原文，这样的映射关系让爬虫无法顺利爬取到网站内容。

以下是在网页中能够正常显示的文本内容，但是在Elements元素面板显示的是看不懂的字符

基于以上的情况，首先在网页的页面我们是能够看到正常显示的字符信息的，但是一旦我们请求数据的时候我们看到的就是看不懂的字符，如下所示：

因此，我们可以想一想为什么导致这样的情况。为什么浏览器能够得到正常的数据，咱们请求下来就不行？难道浏览器背后做了什么转化？答案是：“yes”。

首先，网站使用的是自定义的字体文件，浏览器在渲染数据的时候会根据字体文件引用关系读取字体文件，然后按照每一个字体的映射关系，将每一个正确的字体在网页渲染出来，从而我们在网页中可以看到正常的字体。但是原本的数据并没有变，因此我们请求下来的内容是看不懂的字符。

字体概述

网页字体是一个字形集合，而每个字形是描述字母或符号的矢量形状。很多网站的数据肉眼看着很像，但是是由一些特殊文件渲染出来的，即使得到了数据，但是读取出来会有文件。

在字体加密的网站中用户也是无法直接进行复制网页内容的。

因此，特定字体文件的大小由两个简单变量决定：每个字形矢量路径的复杂程度和特定字体中字形的数量。

网页字体是一个字形集合，而每个字形是描述字母或符号的矢量形状。 因此，特定字体文件的大小由两个简单变量决定：每个字形矢量路径的复杂程度和特定字体中字形的数量。

目前网络上使用的字体容器格式有以下几种： EOT、TTF2、WOFF。但是各个浏览器对字体的支持程度不一致。所以为了兼容性考虑，有的网站会给多个字体文件，哪个字体文件能解析，就是使用哪个。浏览器上使用网址通常是以 @font-face 引入使用类型。

二、处理字体

如果想要把自定义的字体文字变化为系统能够识别的内容，就需要获取自定义字体与通用字体的映射规则，经过转化后就能得到正常文字信息。

● 安装以下软件即可查看字体文件：FontCreator安装包

○ 安装方式：双击安装包，选择路径，一直点击下一步安装即可。

● 字体解密的大致流程：

1. 先找到字体文件的位置，查看源码大概就是xxx.woff这样的文件
2. 重复上面那个操作，将两个字体文件保存下来
3. 用上面的软件或者网址打开，并且通过 Python fontTools 将字体文件解析为 xml 文件
4. 根据字体文件解析出来的 xml 文件与类似上面的字体界面找出相同内容的映射规律（重点）
5. 在 Python 代码中把找出的规律实现出来，让你的代码能够通过这个规律还原源代码与展示内容的映射

三、部分按理讲解

某小说网站字体解密

案例网址：