1、创建项目
feapder create -p <项目名称>
#################################################
执行完成后,会创建 wp\_shop 文件夹,其中的文件结构类似于 scrapy,包含:
items 目录: 主要用于存放数据结构信息
spiders 目录:主要用于存放爬虫文件
setting.py 文件:主要配置文件
main.py 文件:主要执行文件,用于批量启动、集中管理、定时任务等
2、创建爬虫文件
cd spider # 在终端cd到spider目录里
feapder create -s <爬虫文件名称> # 然后创建爬虫文件
##############
请选择爬虫模板
> 轻量爬虫-AirSpider
分布式爬虫-Spider
任务爬虫-TaskSpider
批次爬虫-BatchSpider
3、分析网页,确定要存储的字段,在数据库里创建好数据表,然后在项目里创建items(与数据表所对应的文件)
# cd到items目录里
cd items
# 创建item
feapder create -i <数据表名称>
###############
请选择Item类型
> Item
Item 支持字典赋值
UpdateItem
UpdateItem 支持字典赋值
选择完之后,会在items里生成文件,表里的字段已经映射好
评论区