01
—
CrawlSpider全站数据爬取
CrawlSpider:类,Spider的一个子类,专门用于全站数据爬取。
一,全站数据爬取的方式
1,基于Spider,手动请求
2,基于CrawlSpider,
二,CrawlSpider的使用
1,创建一个工程
2,cdxxx
3,创建爬虫文件(CrawlSpider)
scrapygenspider-tcrawlxxx