现在位置: 首页 / AI Tool / Docker / 正文

Docker本地部署Firecrawl

  • Doge
  • AI Tool
  • 2025-10-28
  • 23热度
  • 0评论
内容 隐藏
1 文章内容
2 Firecrawl
3 使用Docker Compose部署Firecrawl
4 基本使用与常见问题

文章内容

  • Firecrawl
  • 使用Docker Compose部署Firecrawl
  • 基本使用与常见问题

Firecrawl

Firecrawl 是专注于网页爬取、数据提取与结构化的工具，网页 API 适合快速落地，本地部署更适配定制化与数据隐私需求。

  • 官网：https://www.firecrawl.dev/
  • Github：https://github.com/firecrawl/firecrawl
  • 网页爬取：支持动态网页（JS 渲染）和多页爬取，自动应对常见反爬机制。
  • 数据提取：可提取文本、链接、表格等内容，支持自定义提取规则。
  • 结构化输出：爬取结果自动转为 JSON 等易处理格式，方便对接下游系统。

使用Docker Compose部署Firecrawl

这是最为简便和通用的方法，Docker会处理所有依赖关系，包括Redis和Playwright服务。

核心步骤：

  1. 环境准备：确保您的系统已安装Docker和Docker Compose。
  2. 获取代码：使用Git将Firecrawl的源代码克隆到本地。
git clone https://github.com/mendableai/firecrawl.git
cd firecrawl
  1. 配置环境变量：复制已有的示例文件并根据需要修改。
# 例如，在Linux/macOS的终端或Windows的PowerShell中，从项目根目录执行：
cp apps/api/.env.example .env

关键的配置项包括：

  • PORT=3002 （API服务端口）
  • HOST=0.0.0.0 （允许所有网络接口访问）
  • USE_DB_AUTHENTICATION=false （本地部署可关闭认证，无需API Key即可调用）
  • REDIS_URL=redis://redis:6379 （Docker Compose已配置，通常无需修改）
  • OPENAI_API_KEY= （如需使用LLM提取等AI功能，请在此填入您的密钥；否则留空即可）
  1. 启动服务：在项目根目录下执行一条命令，Docker Compose将自动构建镜像并启动所有必要的容器（包括API服务、工作进程、Redis和Playwright）。
docker compose up -d

# 如果需要停止
docker compose down

首次运行需要下载基础镜像和依赖，请耐心等待。

  1. 验证部署：服务启动后，您可以通过以下方式验证：
  • 在浏览器中访问 http://localhost:3002。显示 SCRAPERS-JS: Hello, world! K8s! 即表示服务已运行。
  • 访问队列管理界面 http://localhost:3002/admin/CHANGEME/queues 查看任务状态（其中的CHANGEME对应.env文件中的BULL_AUTH_KEY设置）。
  • 使用curl命令测试爬取功能：
curl -X POST http://localhost:3002/v1/crawl \
-H 'Content-Type: application/json' \
-d '{"url": "https://example.com"}'

基本使用与常见问题

API调用示例
部署成功后，您就可以通过HTTP请求调用Firecrawl的API了。

爬取单个页面（Scrape）：

curl -X POST http://localhost:3002/v0/scrape \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com"}'

爬取整个网站（Crawl）：

curl -X POST http://localhost:3002/v0/crawl \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com", "maxDepth": 2}'