docs: adding the new development mode

This commit is contained in:
Karim shoair
2026-04-07 05:30:51 +02:00
parent fc6a0345a8
commit 88d0459cd2
12 changed files with 61 additions and 0 deletions
+1
View File
@@ -210,6 +210,7 @@ MySpider().start()
- 📡 **Streaming 模式**:通过 `async for item in spider.stream()` 以实时统计 Streaming 抓取的数据--非常适合 UI、管道和长时间运行的爬取。
- 🛡️ **被阻止请求检测**:自动检测并重试被阻止的请求,支持自定义逻辑。
- 🤖 **robots.txt 合规**:可选的 `robots_txt_obey` 标志,支持 `Disallow``Crawl-delay``Request-rate` 指令,并按域名缓存。
- 🧪 **开发模式**:首次运行时将响应缓存到磁盘,后续运行时直接回放 - 在不重新请求目标服务器的情况下迭代你的 `parse()` 逻辑。
- 📦 **内置导出**:通过钩子和您自己的管道导出结果,或使用内置的 JSON/JSONL,分别通过 `result.items.to_json()`/`result.items.to_jsonl()`
### 支持 Session 的高级网站获取