如何在vscode中调试python scrapy爬虫

安装Python,从官网下载,过程略,这里主要注意将python目录加入环境变量 Path中 "D:\Python36\" "D:\Python36\Scripts"

安装Vs code,过程略, 在vscode扩展中安装Python插件

建立你的Scrapy爬虫项目或者拷贝过来 用VSC打开,如果应用了chromedriver/ phantomjs一定要拷贝.exe到Python36目录或单独加环境变量

将根目录添加到工作区

开始准备调试,在debug这里选择添加配置,选择python中的scrapy

如何在vscode中调试python scrapy爬虫

VSC会自动带入默认的配置如图

如何在vscode中调试python scrapy爬虫

这里注意 args就是你的参数: crawl 关键字爬取保留, specs是爬虫名字 换成你自己的,后面两个参数可根据scrapy实际情况增减

此时按F5调试, 如果报“Unknown command: crawl”错误,则需要在launch.json的scrapy中增加 "cwd"参数, 设置路径为爬虫项目名目录,一般都在scrapy下的一级

如何在vscode中调试python scrapy爬虫

 

此时再按F5 即可调试到你在spider里的断点了。

 

Unhandled error in Deferred

如果调试代码出现以上错误,并且没有详细错误信息,可以考虑重新安装正确的 pywin32,Twisted,也可以单步调试找出出错地点,具体问题具体分析

 

package版本大全:https://www.lfd.uci.edu/~gohlke/pythonlibs/

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpxyjg.html