• 时间:
  • 分类:

Scrapy Pipeline：raise DropItem() vs return item 的区别

核心结论

在 Scrapy Pipeline 中，return item 不会丢弃数据，item 会继续传递给后续 Pipeline；只有 raise DropItem() 才能真正终止 item 的传递链路。

Pipeline 数据流向

item → Pipeline 1（去重过滤）→ Pipeline 2（写入 MongoDB）→ 存入数据库
操作效果
return itemitem 继续流转到下一个 Pipeline，最终仍会写入数据库
raise DropItem()item 立即被丢弃，后续所有 Pipeline 均不再处理

示例代码对比

❌ 错误写法（用 return item）

def process_item(self, item, spider):
    md5_value = get_md5(item)
    if self.redis_client.get(f'tx_work_item_filter:{md5_value}'):
        return item  # ⚠️ 错误！item 仍会流入 MongoPipeline 被写入数据库
    return item

✅ 正确写法（用 raise DropItem）

def process_item(self, item, spider):
    md5_value = get_md5(item)
    if self.redis_client.get(f'tx_work_item_filter:{md5_value}'):
        raise DropItem('数据已存在...')  # ✅ 正确！item 在此终止，不再传递
    # 不重复则写入 Redis 标记
    self.redis_client.set(f'tx_work_item_filter:{md5_value}', 1)
    return item

原理说明

Scrapy Pipeline 的职责是分工协作：

  • 去重 Pipeline：只负责判断是否重复，本身不写库
  • 存储 Pipeline（如 MongoPipeline）：负责真正写入数据库

如果去重 Pipeline 使用 return item，item 依然会到达存储 Pipeline 并被写入，去重逻辑完全失效。

raise DropItem() 是 Scrapy 的官方丢弃机制，触发后框架会跳过该 item 的所有后续处理步骤。

记忆口诀

  • return item = "我处理完了，传给下一个"
  • raise DropItem() = "这个 item 不要了，整个链路终止"

标签: none

添加新评论