01.内涵段子.zip

内涵段子脑筋急转弯抓取 网址：http://www.neihan8.com 步骤： 1. 找URL规律 1.第1页：https://www.neihan-8.com/njjzw/index.html 2.第2页：https://www.neihan-8.com/njjzw/index_2.html 3.第3页：https://www.neihan-8.com/njjzw/index_3.html ... 除第1页 "https://www.neihan-8.com/njjzw/index_n.html" 2. 用正则匹配出题目和答案 每条急转弯结构： <div class="text-column-item box box-790"> <h3> <a href="/njjzw/193476.html" class="title" title="为什么汉子不出门?">为什么汉子不出门?</a> </h3> <div class="desc">　　因为一出门就变门外汉了</div> <div class="bottom"> <div class="time"><time class="timeago" datetime="2017-02-03.0">2年前</time><i>属于：<a href="/njjzw/" class="title">脑筋急转弯</a></i></div> <div class="good">15</div> <div class="bad">6</div> <div class="view">2316</div> </div> </div> 正则表达式： p = re.compile(r'<div class="text-.*?title=">(.*?)</div>',re.S) 3. 代码 1. 发请求 2. 用正则匹配 3. 保存爬取内容