如何在 Pycharm 中调试 Scrapy 项目进行抓取?

摘要:缘起 为什么写这篇文章呢?因为自己想在 Scrapy 项目里 debug, 看看 Response 有哪些属性。但是 Scrapy 的官方文档的 debug 说明只有 VSCode 的,没有 Pycharm 的(详见:https:doc
缘起 为什么写这篇文章呢?因为自己想在 Scrapy 项目里 debug, 看看 Response 有哪些属性。但是 Scrapy 的官方文档的 debug 说明只有 VSCode 的,没有 Pycharm 的(详见:https://docs.scrapy.org/en/latest/topics/debug.html): { "version": "0.1.0", "configurations": [ { "name": "Python: Launch Scrapy Spider", "type": "python", "request": "launch", "module": "scrapy", "args": [ "runspider", "${file}" ], "console": "integratedTerminal" } ] } 当然,如果熟悉 VSCode 的人看到这个配置就明白其实执行方式是:python -m scrapy runspider xxx_spider.py (注:这里的 xxx_spider.py 指 spider 文件,如官方文档里面的 quotes_spider.py)。如果这个人同时还熟悉 Pycharm, 那么他就知道在 Pycharm 里面配置进行 debug: 很遗憾,我不是这样的人,所以就有了这篇文章。 说明 时间:2025/12/06 Pycharm 版本:2025.2.4 Python 版本:3.12.0 Scrapy 版本:2.13.4 Windows 版本:Win 11 main.py 在与 scrapy.cfg 文件同层级的目录中新建一个名为 main.py 的文件,用于 debug。
阅读全文