【scrapy、flask】如何在社区版 PyCharm 中调试 scrapy爬虫和 flask web 服务

November's chopin

于 2022-11-04 19:52:50 发布

阅读量1.1k

点赞数 1

分类专栏： Python 文章标签： flask scrapy pycharm

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/ZopaulCode/article/details/127685104

版权

本文介绍了如何在PyCharm 2020.2 Community Edition中调试Scrapy爬虫和Flask Web服务。首先，详细说明了在Windows 10环境下设置Scrapy爬虫的启动入口文件和运行/调试配置；然后，展示了如何调整配置以调试Flask服务，整个过程与调试Scrapy类似。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

软件版本

PyCharm 2020.2 (Community Edition) ，此为官网上的免费社区版
Windows 10 操作系统

调试 scrapy 爬虫

编写 scrapy 爬虫启动的入口文件如下：

import os
import sys

from scrapy.cmdline import execute

sys.path.append(os.path.dirname(os.path.abspath(__file__))

最低0.47元/天解锁文章

November's chopin

博客等级

码龄9年

42
原创

25
点赞

107
收藏

10
粉丝

关注

私信

热门文章

分类专栏

编程路上 4篇
C 3篇
elasticsearch 3篇
Git 3篇
Java 6篇
Javascript 3篇
Linux 7篇
MySQL 5篇
PHP 13篇
Python 4篇
Redis 3篇
微服务 2篇

展开全部收起

上一篇：: 【git】撤销指定文件的提交

下一篇：: 【redis】redis 锁

最新评论

【celery】celery 初体验
北风之神c: 总结的很全面，写得赞，博主用心了。 celery对目录层级文件名称格式要求太高，只适合规划新的项目，对不规则文件夹套用难度高。所以新手使用celery很仔细的建立文件夹名字、文件夹层级、python文件名字。所以网上的celery博客教程虽然很多，但是并不能学会使用，因为要运行起来需要以下6个方面都掌握好，博客文字很难表达清楚或者没有写全面以下6个方面。 celery消费任务不执行或者报错NotRegistered，与很多方面有关系，如果要别人排错，至少要发以下6方面的截图，因为与一下6点关系很大。 1)整个项目目录结构, 2）@task入参 ,3）celery的配置，4）celery的配置 include ,5）cmd命令行启动参数 --queues= 的值,6）用户在启动cmd命令行时候，用户所在的文件夹。在不规范的文件夹路径下，使用celery难度很高，一般教程都没教。 [项目文件夹目录格式不规范下的celery使用演示](https://github.com/ydf0509/celery_demo) 。此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c1.html ，从用法调用难度，用户所需代码量，超高并发性能，qps控频精确程度，支持的中间件类型，任务控制方式，稳定程度等20个方面全方位超过celery。发布性能提高1000%，消费性能提高2000%。 python万能分布式函数调度框架funboost支持python所有类型的并发模式和一切知名消息队列中间件，python函数加速器，只需要一行代码调度任意函数，框架包罗万象,万能编程功能宝典，一统编程思维，与业务不绑定，适用范围广。 pip install funboost
【mysql】左外连接查询中 on 和 where 的区别
开发工程师_卢刚: leff join时, on不会影响左边的条数,但是ot的条件如果匹配不上,则右边会丢失值, 这个的初衷就是要展示所有所有左边的数据,右边的条件不应该影响左边的展示,右边没有就只是右边不存在. 如果想对左边进行过滤,则条件应该放到where中,如果放到on中,该数据还是会出现,只是左边匹配不上
【linux】VirtualBox CentOS7 NAT+Host-Only 网络配置
wang7year: 前面配的33.2，后面配的33.1，是一定要这样才行吗
【celery】celery 初体验
北风之神c: 写得赞，博主用心了，但主要还是celery太难了。 celery对目录层级文件名称格式要求太高，只适合规划新的项目，对不规则文件夹套用难度高。所以新手使用celery很仔细的建立文件夹名字、文件夹层级、python文件名字，所以网上的celery博客教程虽然很多，但是并不能学会使用，因为要运行起来需要以下6个方面都掌握好，博客文字很难表达清楚或者没有写全面以下6个方面。 celery消费任务不执行或者报错NotRegistered，与很多方面有关系，如果要别人排错，至少要发以下6方面的截图， 1) 整个项目目录结构,celery的目录结构和任务函数位置，有很大影响 2) @task入参 ,用户有没有主动设置装饰器的入参 name,设置了和没设置有很大不同，建议主动设置这个名字对函数名字和所处位置依赖减小 3) celery的配置，task_queues(在3.xx叫 CELERY_QUEUES )和task_routes (在3.xx叫 task_routes) 4) celery的配置 include （在3.xx叫 CELERY_INCLUDE）或者 imports (3.xx CELERY_IMPORTS) 或者 app.autodiscover_tasks的入参 5) cmd命令行启动参数 --queues= 的值 6) 用户在启动cmd命令行时候，用户所在的文件夹。在不规范的文件夹路径下，使用celery难度很高，一般教程都没教。 [项目文件夹目录格式不规范下的celery使用演示](https://github.com/ydf0509/celery_demo) 此国产分布式函数调度框架 https://function-scheduling-distributed-framework.readthedocs.io/zh_CN/latest/index.html ，从用法调用难度，用户所需代码量，超高并发性能，qps控频精确程度，支持的中间件类型，任务控制方式，稳定程度等19个方面全方位超过celery，任何方面都是有过之而无不及。
【PHP】数组赋值方式性能比较
November's chopin: 我认为 arr[] 赋值方式的语法级别是很重要的一个原因，它没有 array_push 函数加载的额外开销，比如参数解析、保存进入函数前的环境信息、函数执行结束后的环境信息还原等。

最新文章

目录

展开全部

收起

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。