Python批量获取中国知网文献信息，源码可分享！

于 2025-06-29 17:07:02 发布
阅读量915 收藏 15
点赞数 5
CC 4.0 BY-SA版权
文章标签： python 开发语言 学习 文献
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GLB_0627/article/details/148979503

本教程将详细介绍如何使用Python爬虫批量获取中国知网(CNKI)的文献摘要信息。即使你是编程新手，也能通过本教程快速掌握相关技能。

第一步：环境准备

1. 安装Python环境

确保已安装Python 3.6+版本

2. 安装所需库
pip install requests beautifulsoup4 fake_useragent
3. 准备工具
  • 文本编辑器或IDE（如VS Code、PyCharm）
  • 浏览器开发者工具（用于分析网页结构）

第二步：理解CNKI网页结构

  1. 访问CNKI官网(https://www.cnki.net/)
  2. 搜索一个关键词，如"人工智能"
  3. 打开浏览器开发者工具（F12）
  4. 分析：
    • 搜索请求的URL和参数
    • 结果页面的HTML结构
    • 详情页面的HTML结构

第三步：基础代码实现

1. 导入必要库
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
import time
import random
import json
2. 创建爬虫类
class CNKICrawler:
    def __init__(self):
        self.ua = UserAgent()  # 随机User-Agent
        self.session = requests.Session()
        self.headers = {
            'User-Agent': self.ua.random,
            'Referer': 'https://www.cnki.net/',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        }
        self.proxies = None  # 可以设置代理
3. 实现搜索功能
    def search(self, keyword, page=1):
        """
        搜索文献
        :param keyword: 搜索关键词
        :param page: 页码
        :return: 搜索结果列表
        """
        search_url = 'https://kns.cnki.net/kns8/defaultresult/index'
        params = {
            'kw': keyword,
            'korder': 'relevant',
            'kpage': str(page),
            'kspan': '10'  # 每页10条
        }
        
        try:
            response = self.session.get(
                search_url,
                params=params,
                headers=self.headers,
                proxies=self.proxies,
                timeout=15
            )
            response.raise_for_status()
            
            soup = BeautifulSoup(response.text, 'html.parser')
            results = []
            
            # 解析搜索结果
            for item in soup.select('.result-table-list tbody tr'):
                try:
                    title_elem = item.select_one('a.result-table-title')
                    if not title_elem:
                        continue
                        
                    result = {
                        'title': title_elem.get_text(strip=True),
                        'url': title_elem['href'] if title_elem['href'].startswith('http') 
                              else f'https://kns.cnki.net{title_elem["href"]}',
                        'authors': item.select_one('.result-table-authors').get_text(strip=True) 
                                  if item.select_one('.result-table-authors') else '',
                        'source': item.select_one('.result-table-source').get_text(strip=True) 
                                 if item.select_one('.result-table-source') else '',
                        'date': item.select_one('.result-table-date').get_text(strip=True) 
                               if item.select_one('.result-table-date') else ''
                    }
                    results.append(result)
                except Exception as e:
                    print(f"解析结果项出错: {str(e)}")
                    continue
            
            return results
            
        except Exception as e:
            print(f"搜索出错: {str(e)}")
            return None
4. 实现获取摘要功能
    def get_abstract(self, detail_url):
        """
        获取文献摘要
        :param detail_url: 文献详情页URL
        :return: 摘要文本
        """
        try:
            response = self.session.get(
                detail_url,
                headers=self.headers,
                proxies=self.proxies,
                timeout=15
            )
            response.raise_for_status()
            
            soup = BeautifulSoup(response.text, 'html.parser')
            abstract_div = soup.find('div', class_='abstract-content')
            if abstract_div:
                return abstract_div.get_text(strip=True)
            return None
            
        except Exception as e:
            print(f"获取摘要出错: {str(e)}")
            return None
5. 实现批量爬取
    def batch_crawl(self, keywords, max_per_keyword=3, max_pages=1):
        """
        批量爬取多个关键词的摘要
        :param keywords: 关键词列表
        :param max_per_keyword: 每个关键词最多爬取的文献数
        :param max_pages: 每个关键词最多搜索的页数
        :return: 爬取结果字典
        """
        results = {}
        
        for keyword in keywords:
            print(f"\n正在处理关键词: {keyword}")
            keyword_results = []
            count = 0
            
            for page in range(1, max_pages + 1):
                if count >= max_per_keyword:
                    break
                    
                print(f"正在搜索第 {page} 页...")
                literatures = self.search(keyword, page)
                if not literatures:
                    break
                    
                for lit in literatures:
                    if count >= max_per_keyword:
                        break
                        
                    print(f"正在获取 '{lit['title'][:30]}...' 的摘要...")
                    abstract = self.get_abstract(lit['url'])
                    if abstract:
                        lit['abstract'] = abstract
                        keyword_results.append(lit)
                        count += 1
                    
                    # 随机延迟
                    time.sleep(random.uniform(2, 5))
            
            results[keyword] = keyword_results
            # 每个关键词处理完后增加更长延迟
            time.sleep(random.uniform(5, 10))
        
        return results

第四步：使用爬虫

1. 初始化并运行爬虫
if __name__ == '__main__':
    crawler = CNKICrawler()
    
    # 设置代理（可选）
    # crawler.proxies = {
    #     'http': 'http://your_proxy:port',
    #     'https': 'https://your_proxy:port'
    # }
    
    # 关键词列表
    keywords = ["人工智能", "机器学习", "深度学习", "自然语言处理"]
    
    # 爬取摘要（每个关键词最多3篇，每关键词搜索1页）
    results = crawler.batch_crawl(keywords, max_per_keyword=3, max_pages=1)
    
    # 保存结果
    with open('cnki_abstracts.json', 'w', encoding='utf-8') as f:
        json.dump(results, f, ensure_ascii=False, indent=2)
    
    print("\n爬取完成，结果已保存到 cnki_abstracts.json")

第五步：处理反爬机制

1. 随机User-Agent

已在代码中使用fake_useragent库实现

2. 请求延迟

代码中已包含随机延迟：

time.sleep(random.uniform(2, 5))  # 短延迟
time.sleep(random.uniform(5, 10))  # 长延迟
3. 使用代理（可选）

取消注释以下代码并设置你的代理：

# crawler.proxies = {
#     'http': 'http://your_proxy:port',
#     'https': 'https://your_proxy:port'
# }

第六步：结果处理与分析

爬取完成后，你可以加载结果进行分析：

import json

# 加载结果
with open('cnki_abstracts.json', 'r', encoding='utf-8') as f:
    data = json.load(f)

# 打印结果
for keyword, articles in data.items():
    print(f"\n关键词: {keyword}")
    for article in articles:
        print(f"\n标题: {article['title']}")
        print(f"作者: {article['authors']}")
        print(f"来源: {article['source']}")
        print(f"日期: {article['date']}")
        print(f"摘要: {article['abstract'][:200]}...")

注意事项

  1. 合法性：确保你的爬取行为符合CNKI的服务条款和相关法律法规
  2. 频率控制：不要过于频繁地请求，避免被封IP
  3. 数据使用：仅将数据用于个人学习研究，不得用于商业用途
  4. 页面结构变化：CNKI可能会更改页面结构，需要定期更新解析逻辑
  5. 验证码处理：如果出现验证码，需要额外实现验证码识别功能

完整代码

以下是完整的可执行代码：

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
import time
import random
import json

class CNKICrawler:
    def __init__(self):
        self.ua = UserAgent()
        self.session = requests.Session()
        self.headers = {
            'User-Agent': self.ua.random,
            'Referer': 'https://www.cnki.net/',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        }
        self.proxies = None

    def search(self, keyword, page=1):
        search_url = 'https://kns.cnki.net/kns8/defaultresult/index'
        params = {
            'kw': keyword,
            'korder': 'relevant',
            'kpage': str(page),
            'kspan': '10'
        }
        
        try:
            response = self.session.get(
                search_url,
                params=params,
                headers=self.headers,
                proxies=self.proxies,
                timeout=15
            )
            response.raise_for_status()
            
            soup = BeautifulSoup(response.text, 'html.parser')
            results = []
            
            for item in soup.select('.result-table-list tbody tr'):
                try:
                    title_elem = item.select_one('a.result-table-title')
                    if not title_elem:
                        continue
                        
                    result = {
                        'title': title_elem.get_text(strip=True),
                        'url': title_elem['href'] if title_elem['href'].startswith('http') 
                              else f'https://kns.cnki.net{title_elem["href"]}',
                        'authors': item.select_one('.result-table-authors').get_text(strip=True) 
                                  if item.select_one('.result-table-authors') else '',
                        'source': item.select_one('.result-table-source').get_text(strip=True) 
                                 if item.select_one('.result-table-source') else '',
                        'date': item.select_one('.result-table-date').get_text(strip=True) 
                               if item.select_one('.result-table-date') else ''
                    }
                    results.append(result)
                except Exception as e:
                    print(f"解析结果项出错: {str(e)}")
                    continue
            
            return results
            
        except Exception as e:
            print(f"搜索出错: {str(e)}")
            return None

    def get_abstract(self, detail_url):
        try:
            response = self.session.get(
                detail_url,
                headers=self.headers,
                proxies=self.proxies,
                timeout=15
            )
            response.raise_for_status()
            
            soup = BeautifulSoup(response.text, 'html.parser')
            abstract_div = soup.find('div', class_='abstract-content')
            if abstract_div:
                return abstract_div.get_text(strip=True)
            return None
            
        except Exception as e:
            print(f"获取摘要出错: {str(e)}")
            return None

    def batch_crawl(self, keywords, max_per_keyword=3, max_pages=1):
        results = {}
        
        for keyword in keywords:
            print(f"\n正在处理关键词: {keyword}")
            keyword_results = []
            count = 0
            
            for page in range(1, max_pages + 1):
                if count >= max_per_keyword:
                    break
                    
                print(f"正在搜索第 {page} 页...")
                literatures = self.search(keyword, page)
                if not literatures:
                    break
                    
                for lit in literatures:
                    if count >= max_per_keyword:
                        break
                        
                    print(f"正在获取 '{lit['title'][:30]}...' 的摘要...")
                    abstract = self.get_abstract(lit['url'])
                    if abstract:
                        lit['abstract'] = abstract
                        keyword_results.append(lit)
                        count += 1
                    
                    time.sleep(random.uniform(2, 5))
            
            results[keyword] = keyword_results
            time.sleep(random.uniform(5, 10))
        
        return results

if __name__ == '__main__':
    crawler = CNKICrawler()
    
    # 设置代理（可选）
    # crawler.proxies = {
    #     'http': 'http://your_proxy:port',
    #     'https': 'https://your_proxy:port'
    # }
    
    keywords = ["人工智能", "机器学习", "深度学习", "自然语言处理"]
    results = crawler.batch_crawl(keywords, max_per_keyword=3, max_pages=1)
    
    with open('cnki_abstracts.json', 'w', encoding='utf-8') as f:
        json.dump(results, f, ensure_ascii=False, indent=2)
    
    print("\n爬取完成，结果已保存到 cnki_abstracts.json")

总结

本文详细讲解了如何使用Python批量爬取CNKI文献摘要的完整流程，包括环境准备、代码实现、反爬处理和结果分析。请记住，在实际使用时务必遵守相关法律法规和网站规定，合理控制爬取频率。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
在这里插入图片描述

👉Python学习路线汇总👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

👉Python必备开发工具👈

在这里插入图片描述

👉Python学习视频合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述

👉实战案例👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

👉Python副业兼职路线&方法👈

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

在这里插入图片描述

bug鸭陆
关注
学术数据库爬虫：爬取CNKI上的学术论文、期刊与引用数据
2201_76125261的博客
03-30 1680
中国知网（CNKI）是中国最大的学术资源数据库之一，提供了丰富的学术资源，包括学位论文、期刊论文、会议论文、专利、标准等。学术界的研究者、学生和开发者可以通过CNKI获取大量的学术文献，帮助研究、学习和创新。然而，手动查阅和收集这些文献数据往往耗时且低效。本文将介绍如何使用Python爬虫技术，自动从CNKI上抓取学术论文、期刊、引用数据等信息，帮助研究者更加高效地获取数据。理解CNKI学术数据库结构；爬虫架构与技术选型；爬取学术论文的基本方法；爬取学术期刊与引用数据；数据清洗与存储；
【爬虫实战】Python爬取知网文献信息
2301_82000445的博客
03-15 8129
👉Python学习路线汇总👈Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（学习教程文末领取哈）👉Python必备开发工具👈。
Python爬虫批量下载文献
weixin_50097774的博客
11-26 7940
最近在看NeurIPS的文章，但是一篇篇下载太繁琐，希望能快速批量下载下来。 于是想到了之前一直听说的python爬虫，初次学着弄一下。 参考了python爬虫入门教程：Python爬虫入门教程：超级简单的Python爬虫教程; 用到了requests，BeautifulSoup，urllib.request包 先放最终运行的程序： 结果程序 import requests import pandas as pd from bs4 import BeautifulSoup from urllib.r.
[特殊字符]C# 窗体程序从入门到精通：手把手教你打造满分项目
最新发布
weixin_63787825的博客
06-16 848
🔥C# 窗体程序从入门到精通：手把手教你打造满分项目一、引言在软件开发的广阔领域中，C# 凭借其强大的功能和简洁的语法，成为了众多开发者的首选语言。而 C# 窗体程序（Windows Forms Application），作为创建 Windows 桌面应用的经典方式，能快速构建出功能丰富、交互友好的图形界面应用程序。本文将带你从零开始，深入了解 C# 窗体程序的开发流程，搭配大量高清配图和完整代码示例，助你在 CSDN 收获满分技术帖！二、开发环境搭建。
知网研学 | 知网文献（CAJ+PDF）批量下载
跳动的喵尾巴
12-19 6743
批量下载之后，点击右侧对应按钮，可以打开批量下载文献所在专题，或进行全文阅读。同样地，在知网主页搜索后，可以看到批量下载PDF选项，便可直接下载PDF全文；选项，在弹出页面中可以看到搜索主题关键词及选中文献信息，此时在点击页面上的。设置完成后，重新点击批量下载，便可如下图所示，依次保存选择的全文文件。文件，在打开页面，便可导入题录，并根据实际需求将其按专题进行分组；，输入关键词进行检索，在搜索结果页面，可以看到。但需要注意的是，此种方式只能下载单篇全文，软件打开，故需先安装该软件；，点击链接下载，双击。
python爬虫爬取知网
2401_84003630的博客
04-08 1874
)', d)#print(‘摘要=’,summary)"', d)’', d)continue’', d)ws.write(i, 0, name) #文献名ws.write(i, 1, writer) #作者名ws.write(i, 2, type) #文献类别ws.write(i, 15, num) #列表的页码ws.write(i, 3, summary) # 摘要。
用python批量爬取中国知网CNKI的文献摘要（附源码）
2301_78096295的博客
05-10 1726
"""获取文献摘要:param detail_url: 文献详情页URL:return: 摘要文本"""try:timeout=15print(f"获取摘要出错:str获取文献摘要:param detail_url: 文献详情页URL:return: 摘要文本。
Python知网数据爬取实战指南
weixin_42511832的博客
05-24 1963
网络爬虫开发者和使用者应当具备法律意识，合理地规划和实施数据抓取行为。不仅是为了避免潜在的法律风险，更是为了促进网络环境的健康发展和知识产权的保护。通过合法途径获取和使用数据资源，对于维护学术诚信和推动知识共享具有重要意义。本文还有配套的精品资源，点击获取简介：Python知网爬虫是一个使用Python语言开发的爬虫项目，旨在高效抓取中国知网（CNKI）上的学术资料。本项目利用多线程技术提升爬取效率，并通过IP代理策略应对反爬机制，实现稳定的数据抓取。
python知网爬虫
04-28
python知网爬虫，根据作者，爬取所有paper信息
如何用Python批量获取知网文献信息？
xiaolinyui的博客
11-16 2169
一键爬取论文文献资料
Python获取lunwen信息，包含数据爬取、数据分析、数据可视化代码
06-30
Python获取lunwen信息，包含数据爬取、数据分析、数据可视化代码，直接输入关键词即可获取相关数据信息
用Python批量获取知网文献信息，轻松解放双手 ！
python03012的博客
11-22 4893
能够很容易定位到摘要的文本，class name：
自动化知网文献爬虫python源码教程
资源摘要信息:"这份资源是一套基于Python语言和selenium库实现的自动化知网文献爬虫的源码。知网（CNKI，China National Knowledge Infrastructure）是中国最大的学术资源平台，提供了大量的学术论文、期刊、会议...
利用Python批量下载文献
02-19
### 使用Python批量下载学术文献的方法 为了实现批量下载学术文献的目标，可以采用多种方法和技术组合。一种有效的方式是利用`requests`库、`Selenium`工具以及`BeautifulSoup`库共同完成这一任务[^1]。 #### 选择...
python爬取知网的数据进行各计算机领域学术关注度指数的可视化
weixin_45726854的博客
07-23 4041
python爬取知网的数据进行各计算机领域学术关注度指数的可视化 最近在思考人生，逛知网时发现知网会对每个科研关键词进行统计，给出一个关注度曲线。 于是我就查看一些关键词的研究发展情况，但是每一次都要自己更换搜索关键词，再点击进去查看曲线。 作为计算机系的学生，这固然不能忍。 于是我决定用python把感兴趣的关键词的数据全部爬取下来绘制到一张图里。 效果如图： 简单记录下，下面是步骤： 一、爬取数据 1.1. 数据来源 点开一篇论文，会看见摘要下方的关键词 随便点击一个关键词，就会看到知网已经统计好的
渗透测试工具集（非常详细），从零基础入门到精通，看完这一篇就够了（附安装）
leah126的博客
01-31 2878
文件格式和网络协议剖析语言和Web IDE，使用C ++，C＃，Java，JavaScript，Perl，PHP，Python，Ruby生成解析器。- 在线密码破解工具，内置支持许多网络协议，包括HTTP，SMB，FTP，telnet，ICQ，MySQL，LDAP，IMAP，VNC等。我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。- Perl脚本，用于枚举域中的DNS信息，尝试区域传输，执行强力字典样式攻击，然后对结果执行反向查找。
django求职招聘网站的设计和实现(程序+开题报告)
皇森斯毕设程序
02-14 1289
6] 郭婺, 郭建, 张劲松, 石翠萍, 刘道森, 刘超. 基于Python的网络爬虫的设计与实现[J]. 信息记录材料, 2023, 24 (04): 159-162.后端框架: Python开发的 Django 框架。[4] 张华, 翟新军, 胥勇, 李伟强, 杨健, 赵嘉伟, 张涛. Python在集控大数据应用的研究[J]. 价值工程, 2023, 42 (21): 84-86.总之，通过本研究的实施，将为求职者和企业提供一个功能全面、用户体验良好的求职招聘网站，促进就业市场的健康发展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值