概要

Firecrawl の処理に対するリアルタイム通知

Webhook を利用すると、ステータスをポーリングするのではなく、処理の進行状況に応じてリアルタイムに通知を受け取れます。

​

サポートされている操作

Operation	イベント
Crawl	started, page, completed
Batch Scrape	started, page, completed
Extract	started, completed, failed
Agent	started, action, completed, failed, cancelled

​

設定

リクエストに webhook オブジェクトを追加します:

JSON

{
  "webhook": {
    "url": "https://your-domain.com/webhook",
    "metadata": {
      "any_key": "any_value"
    },
    "events": ["started", "page", "completed", "failed"]
  }
}

フィールド	型	必須	説明
url	string	Yes	Webhook エンドポイントの URL（HTTPS）
headers	object	No	Webhook リクエストに含めるカスタムヘッダー
metadata	object	No	ペイロードに含めるカスタムデータ
events	array	No	受信するイベントタイプ（既定: すべて）

​

使い方

​

Webhookでのクロール

cURL

curl -X POST https://api.firecrawl.dev/v2/crawl \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer YOUR_API_KEY' \
    -d '{
      "url": "https://docs.firecrawl.dev",
      "limit": 100,
      "webhook": {
        "url": "https://your-domain.com/webhook",
        "metadata": {
          "any_key": "any_value"
        },
        "events": ["started", "page", "completed"]
      }
    }'

​

Webhook を用いたバッチスクレイプ

cURL

curl -X POST https://api.firecrawl.dev/v2/batch/scrape \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer YOUR_API_KEY' \
    -d '{
      "urls": [
        "https://example.com/page1",
        "https://example.com/page2",
        "https://example.com/page3"
      ],
      "webhook": {
        "url": "https://your-domain.com/webhook",
        "metadata": {
          "any_key": "any_value"
        },
        "events": ["started", "page", "completed"]
      }
    }'

​

タイムアウトとリトライ

エンドポイントは 10秒以内 に 2xx ステータスで応答する必要があります。

配信に失敗した場合（タイムアウト、非2xx、またはネットワークエラー）、Firecrawl は自動的にリトライします:

リトライ回数	失敗後の遅延時間
1回目	1分
2回目	5分
3回目	15分

3回のリトライがすべて失敗すると、Webhook は失敗としてマークされ、それ以上のリトライは行われません。