如何用python3爬取招聘网站

1、实现更换user_agent方法代码如下

2、实现随机选取的方法代码

3、按F12的Network的数据包中查找到如下数据信息

4、实现在setting中开启某些设置的方法代码

5、创建scrapy目录如下

6、实现编写容器文件的方法代码

7、实现爬取全国然后爬取14个热门城市的方法代码

8、实现pipelines的方法代码

9、测试如下