scrapyd在python爬虫里怎么用

scrapyd在python爬虫里怎么用

 

如果大家比较关注于python的爬虫数据分析挖掘，那就一定要跟着小编学习了解下scrapyd，其本身优点非常的多，比如我们可以实现远程启动、停止或者删除，也可以规避爬虫源码，因为也被很多人称之为是专门用来发布scrapy爬虫的工具，好啦，下面就一起来详细了解下使用过程吧。

安装服务器：

pip install scrapyd

安装客户端：

pip install scrapyd-client

测试服务器开启：

 

浏览访问服务：

 

修改scrapy项目目录下的scrapy.cfg文件：

[deploy:JD_Spider]    #加上target   :name
url = http://localhost:6800/   #将前面的#删除
project = JD

上面就是scrapyd在爬虫中的简单使用，感兴趣的小伙伴可以跟着小编学习掌握，希望可以帮助到大家哦~