点赞 + 关注 + 收藏 = 学会了

💡整理了一个 NAS 专属玩法专栏，感兴趣的工友可以戳这里关注 👉 《NAS邪修》

Audiobookshelf 是一个开源的、自托管的播客和有声书服务器。如果你手里有很多珍藏的有声书音频（比如评书、小说、外语听力），或者想集中管理订阅的播客，把它部署在 NAS 上，你就能拥有一个类似“喜马拉雅”或“小宇宙”的私人听书平台，不仅能记录播放进度，还支持多端同步！

这次我们以飞牛 NAS 为例演示部署过程，其他品牌（极空间、绿联、群晖等）的操作步骤也都大同小异

首先，打开 NAS 的 「文件管理」 应用，在 docker 文件夹里创建一个名为 audiobookshelf 的主文件夹。

接着，进入 audiobookshelf 文件夹，在里面再分别创建 4 个子文件夹：

• audiobooks （存放有声书）
• config （存放配置文件）
• metadata （存放元数据）
• podcasts （存放播客文件）

打开 「Docker」 应用，切换到 Compose 面板，点击新建一个项目：

• 项目名称：audiobookshelf
• 路径：选择上一步创建的 /docker/audiobookshelf 文件夹路径
• 来源：选择 创建 docker-compose.yml

在代码框中填入以下代码：

services:
  audiobookshelf:
    image: ghcr.io/advplyr/audiobookshelf:latest
    container_name: audiobookshelf
    ports:
      - 13378:80
    volumes:
      - /vol1/1000/docker/audiobookshelf/audiobooks:/audiobooks
      - /vol1/1000/docker/audiobookshelf/podcasts:/podcasts
      - /vol1/1000/docker/audiobookshelf/metadata:/metadata
      - /vol1/1000/docker/audiobookshelf/config:/config
    restart: unless-stopped

💡 参数：

• volumes 下的每一项，都对应我们在第一步创建的子文件夹。请注意将冒号前的内容修改为你自己 NAS 的真实路径。
• 13378 是给 Audiobookshelf 映射的本地端口，如果这个端口被占用了，你可以自定义改成其他数字（比如 13379）。

等项目构建完成后，切换到 容器 面板，找到 audiobookshelf 这一项。点击它旁边的链接按钮（或者在浏览器输入 NAS的局域网IP:13378 ），就能打开 Audiobookshelf 了。

初次进入系统，你需要先创建一个管理员账号。

登录成功后，默认是英文界面。

想要调成中文很简单： 点击右上角的 Settings（设置），找到 Default Server Language，在下拉菜单中选择 简体中文，界面就会瞬间变得亲切起来。

接下来是添加有声书，点击左侧导航栏的 媒体库，选择 添加第一个媒体库。类型选择有声书，文件夹映射路径选择 /audiobooks。

然后打开 NAS 的 「文件管理」 应用，找到我们第一步建好的 /docker/audiobookshelf/audiobooks 文件夹，把准备好的有声书文件（mp3、m4b 等格式）放进去。

回到 Audiobookshelf 网页端，点击 扫描。

扫描完成后，点击左上角的 Audiobookshelf 图标回到首页，就能看到刚刚添加进来的有声书。

点开即可选择章节播放。

如果你使用的是飞牛、绿联等国产新势力的 NAS，通过它们的移动端 App 穿透，在手机上也可以随时随地直接连上 Audiobookshelf 听书，非常方便！

以上就是本文的全部内容啦！你有在 NAS 上跑什么好玩、好用的 Docker 镜像推荐吗？欢迎在评论区留言讨论！

想了解更多NAS玩法记得关注《NAS邪修》👏

点赞 + 关注 + 收藏 = 学会了

Feapder框架：为Python爬虫工程师打造的生产级利器

1. 引言

在分布式爬虫和数据处理领域，Python生态中涌现了许多优秀的框架。Feapder以其独特的设计理念和生产级特性脱颖而出，它不仅是一个爬虫框架，更是一个一体化的数据采集、处理与任务管理解决方案。本文旨在全面介绍Feapder的核心概念、架构设计、关键特性及最佳实践，帮助开发者快速掌握并应用于生产环境。

2. 框架概述

Feapder是一款轻量级、高可扩展的分布式Python爬虫框架。与Scrapy等传统框架相比，其核心优势在于提供了“开箱即用”的生产级功能，包括智能去重、断点续爬、分布式支持、监控告警等，极大地简化了从开发到部署的整个流程。

3. 核心特性

3.1. 多模式爬虫支持

• AirSpider: 轻量级爬虫，适合快速编写和调试简单采集任务。
• Spider: 功能完整的爬虫，支持分布式、去重、请求过滤等高级特性。
• BatchSpider: 专门为周期性、增量式数据采集（如监控网站更新）而设计。
• TaskSpider: 基于任务表的爬虫，适合管理复杂、多阶段的数据采集逻辑。

3.2. 智能去重与持久化

• 提供多种去重方式（内存、Redis、布隆过滤器等）。
• 支持请求级和数据项（Item）级的去重。
• 可灵活配置去重范围（临时、永久等）。

3.3. 分布式与高可用

• 内置基于Redis的分布式任务调度器，实现多机协同工作。
• 支持断点续爬，任务中断后可从中断点恢复，避免数据丢失或重复采集。
• 自动的负载均衡和故障转移机制。

3.4. 丰富的内置工具与中间件

• 浏览器渲染: 无缝集成Playwright和Selenium，轻松应对JavaScript渲染页面。
• 代理池管理: 内置代理IP管理功能，支持自动切换和验证。
• 验证码识别: 提供接口，方便接入第三方验证码识别服务。
• 数据管道: 模块化的数据清洗、验证和存储流程。
• 可扩展中间件: 方便地插入下载中间件、爬虫中间件等，实现自定义逻辑。

3.5. 监控与运维支持

• 提供Web可视化监控界面，实时查看任务状态、采集速度、错误日志等。
• 支持集成Prometheus等监控系统，进行指标收集和告警。
• 详细的日志记录和调试信息，便于问题定位。

4. 快速入门

4.1. 安装

pip install feapder

4.2. 第一个示例：AirSpider

创建一个简单的爬虫，采集名言网站的数据。

# demo_spider.py
import feapder

class DemoSpider(feapder.AirSpider):
    def start_requests(self):
        # 生成初始请求
        yield feapder.Request("https://quotes.toscrape.com/page/1/")
    
    def parse(self, request, response):
        # 解析响应
        quotes = response.xpath('//div[@class="quote"]')
        
        for quote in quotes:
            item = {
                'text': quote.xpath('.//span[@class="text"]/text()').extract_first(),
                'author': quote.xpath('.//small[@class="author"]/text()').extract_first(),
                'tags': quote.xpath('.//div[@class="tags"]/a/text()').extract()
            }
            # 打印或yield item进行后续处理
            print(item)
            
        # 简单的翻页逻辑
        next_page = response.xpath('//li[@class="next"]/a/@href').extract_first()
        if next_page:
            yield feapder.Request(response.urljoin(next_page))

if __name__ == "__main__":
    DemoSpider().start()

运行：

python demo_spider.py

5. 核心组件与工作流程

5.1. 项目结构（推荐）

my_feapder_project/
├── spiders/               # 爬虫目录
│   ├── __init__.py
│   ├── news_spider.py
│   └── product_spider.py
├── items/                  # 数据模型定义
│   └── __init__.py
├── pipelines/             # 数据管道（清洗、存储）
│   └── __init__.py
├── middlewares/           # 中间件
│   └── __init__.py
├── utils/                 # 工具函数
│   └── __init__.py
├── settings.py           # 项目配置文件
└── main.py              # 项目入口（可选）

5.2. 配置文件 (settings.py)

# settings.py
import logging

# ########## 基础配置 ##########
LOG_LEVEL = logging.INFO
LOG_TO_FILE = True

# ########## 下载器配置 ##########
DOWNLOAD_DELAY = 1  # 请求延迟(秒)
RETRY_TIMES = 3     # 失败重试次数
CONCURRENT_REQUESTS = 16  # 全局并发数
DOWNLOAD_TIMEOUT = 30    # 超时时间

# ########## 分布式与去重配置 ##########
# 使用Redis作为任务队列和去重存储器
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_DB = 0
REDIS_PASSWORD = None

# 请求指纹去重方式
REQUEST_FILTER_SETTING = {
    'filter_type': 2,  # 2表示使用Redis进行持久化去重
}

# ########## 中间件 ##########
SPIDER_MIDDLEWARES = []
DOWNLOADER_MIDDLEWARES = []
ITEM_PIPELINES = [
    # 'pipelines.MySQLPipeline': 300,
]

6. 高级功能与实践

6.1. 使用Item和Pipeline

定义规范的数据结构和处理流程。

# items/quote_item.py
import feapder

class QuoteItem(feapder.Item):
    __table_name__ = "quotes"  # 数据库表名（如果存数据库）
    
    def __init__(self, *args, **kwargs):
        super().__init__(**kwargs)
        self.text = None
        self.author = None
        self.tags = None

# pipelines/save_pipeline.py
class SaveToMySQLPipeline:
    def process_item(self, item, table):
        # 这里实现将item保存到MySQL的逻辑
        # 例如：使用SQLAlchemy或pymysql
        print(f"保存数据: {item}")
        return item

# spiders/quote_spider.py
import feapder
from items.quote_item import QuoteItem

class QuoteSpider(feapder.Spider):
    def start_requests(self):
        yield feapder.Request("https://quotes.toscrape.com/page/1/")
    
    def parse(self, request, response):
        quotes = response.xpath('//div[@class="quote"]')
        for quote in quotes:
            item = QuoteItem()
            item.text = quote.xpath('.//span[@class="text"]/text()').extract_first()
            item.author = quote.xpath('.//small[@class="author"]/text()').extract_first()
            item.tags = quote.xpath('.//div[@class="tags"]/a/text()').extract()
            yield item

6.2. 浏览器渲染（集成Playwright）

import feapder
from feapder.utils.playwright import Playwright

class JSSpider(feapder.AirSpider):
    def start_requests(self):
        yield feapder.Request("https://example.com", render=True)  # 开启渲染
    
    def parse(self, request, response):
        # 此时response包含渲染后的页面内容
        # 可以直接用xpath或css选择器解析
        dynamic_content = response.xpath('//div[@id="dynamic"]/text()').extract_first()
        print(dynamic_content)

6.3. 分布式爬虫部署

1. 启动Redis服务器。

2. 修改Spider为分布式模式：

   class MyDistributedSpider(feapder.Spider):
       __custom_setting__ = dict(
           REDIS_KEY = "feapder:my_spider:requests",  # Redis中的任务队列key
           SPIDER_MAX_RETRY_TIMES = 3,
       )
       def start_requests(self):
           # 初始种子URL
           yield feapder.Request("http://example.com/page1")

3. 在多台机器上运行相同的爬虫，它们会自动从Redis队列中领取任务。

7. 性能调优建议

1. 合理设置并发：根据目标网站承受能力和自身网络带宽调整 CONCURRENT_REQUESTS。
2. 利用缓存：对于频繁访问但变化不大的页面，考虑使用请求缓存。
3. 优化去重：对于海量URL，使用BloomFilter（布隆过滤器）进行内存高效的去重。
4. 异步处理：在Pipeline中进行数据库写入等IO操作时，考虑使用异步库（如aiomysql）提升吞吐量。
5. 资源管理：合理控制浏览器渲染实例的数量，避免内存泄露。

8. 与主流框架对比

9. 总结

Feapder是一款非常适合快速构建稳定、可维护、分布式爬虫系统的Python框架。其“开箱即用”的理念，将开发者从繁琐的中间件编写、分布式协调和运维监控中解放出来，使其能更专注于核心的数据抽取业务逻辑。

核心优势：

• 一体化解决方案：减少技术选型和集成的复杂度。
• 强大的生产级特性：内置分布式、去重、监控、渲染等，降低运维负担。
• 灵活的扩展性：通过中间件和Pipeline可轻松定制。
• 友好的用户体验：详细的中文文档、活跃的社区和丰富的示例。

无论是进行大规模数据挖掘、竞品分析，还是构建企业级数据采集平台，Feapder都是一个强大而可靠的选择。