python知网爬虫代码

### Python CNKI 爬虫示例代码 以下是基于提供的参考资料以及常见实践的一个简单 Python 爬虫代码，用于从中国知网（CNKI）抓取文献信息。此代码仅作为学习用途，请注意遵守目标网站的服务条款和法律法规。 ```python import requests from bs4 import BeautifulSoup def fetch_cnki_paper_info(url, headers=None): """ 抓取指定 URL 的 CNKI 文献信息。 参数: url (str): 要访问的目标页面链接。 headers (dict): 请求头，默认为 None。 返回: dict: 解析后的文献信息字典。 """ if not headers: headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } try: response = requests.get(url, headers=headers) response.raise_for_status() # 如果响应状态码不是 200，则抛出异常 soup = BeautifulSoup(response.content.decode('utf-8', errors='ignore'), 'html.parser') title_tag = soup.find('h1') # 假设标题位于 h1 标签中 abstract_tag = soup.find('span', {'class': 'abstract'}) # 假设摘要位于 span 标签下 paper_info = {} if title_tag: paper_info['title'] = title_tag.text.strip() else: paper_info['title'] = "未找到标题" if abstract_tag: paper_info['abstract'] = abstract_tag.text.strip() else: paper_info['abstract'] = "未找到摘要" return paper_info except Exception as e: print(f"请求失败：{e}") return {} if __name__ == "__main__": target_url = "http://example.cnki.net/paper/some-paper-id" # 替换为目标文献的实际 URL result = fetch_cnki_paper_info(target_url) print(result) ``` #### 说明 以上代码实现了基本的 HTTP 请求发送功能，并通过 `BeautifulSoup` 对返回的内容进行解析[^1]。需要注意的是，实际应用中可能需要调整 HTML 结构的选择器以适配具体页面布局变化。此外，在大规模数据采集前应充分了解目标站点的相关政策[^3]。