目录
使用爬虫需要遵守相关法律和规范!
1、安装爬虫Scrapy
编程环境是Anaconda,其安装和使用见我之前的文章,这里就不赘述了。
首先安装爬虫Scrapy,为了加快下载速度,我用了国内镜像网站,如下所示:
pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple
还需要再安装一下Twisted,否则使用爬虫时会报错。
conda install --channel https://conda.anaconda.org/anaconda Twisted
2、新建爬虫项目
新建爬虫项目test_spider
scrapy startproject test_spider
进入spiders目录,创建baiduSpider.py,域名是要爬取的网站,写错了就无法爬取图片。不过不必担心,这里我们
本站资源均来自互联网,仅供研究学习,禁止违法使用和商用,产生法律纠纷本站概不负责!如果侵犯了您的权益请与我们联系!
转载请注明出处: 免费源码网-免费的源码资源网站 » Python实现一个简单的爬虫程序(爬取图片)
发表评论 取消回复