侧边栏壁纸
博主头像
行迹小栈

即使明天我们的手脚都会折断,但是我们的衣领和袖口,依然笔挺!

  • 累计撰写 113 篇文章
  • 累计创建 13 个标签
  • 累计收到 9 条评论

目 录CONTENT

文章目录

feapder创建流程

Administrator
2024-08-01 / 0 评论 / 0 点赞 / 12 阅读 / 0 字 / 正在检测是否收录...

1、创建项目

feapder create -p <项目名称>

#################################################
执行完成后,会创建 wp\_shop 文件夹,其中的文件结构类似于 scrapy,包含:

items 目录: 主要用于存放数据结构信息

spiders 目录:主要用于存放爬虫文件

setting.py 文件:主要配置文件

main.py 文件:主要执行文件,用于批量启动、集中管理、定时任务等

2、创建爬虫文件

cd spider       # 在终端cd到spider目录里
feapder create -s <爬虫文件名称> # 然后创建爬虫文件
############## 
请选择爬虫模板
 > 轻量爬虫-AirSpider
 分布式爬虫-Spider
 任务爬虫-TaskSpider
 批次爬虫-BatchSpider

3、分析网页,确定要存储的字段,在数据库里创建好数据表,然后在项目里创建items(与数据表所对应的文件)

# cd到items目录里 
cd items 

# 创建item 
feapder create -i <数据表名称> 

############### 
请选择Item类型 
> Item 
Item 支持字典赋值 
UpdateItem 
UpdateItem 支持字典赋值

选择完之后,会在items里生成文件,表里的字段已经映射好

0
  1. 支付宝打赏

    qrcode alipay
  2. 微信打赏

    qrcode weixin

评论区