Skip to main content
Firecrawl の scrape、crawl、map、agent 各エンドポイントで利用できるすべてのオプションのリファレンスです。

基本的なスクレイピング

単一のページをスクレイピングしてクリーンなMarkdownコンテンツを取得するには、/scrape エンドポイントを使用します。

PDFのスクレイピング

FirecrawlはPDFに対応しています。PDFを確実に解析したい場合は、parsers オプション(例: parsers: ["pdf"])を使用してください。mode オプションで解析戦略を制御できます。
  • auto (デフォルト) — まず高速なテキストベース抽出を試み、必要に応じてOCRにフォールバックします。
  • fast — テキストベースの解析のみ(埋め込みテキスト)。最も高速ですが、スキャンされたページや画像の多いページはスキップされます。
  • ocr — すべてのページで強制的にOCR解析を行います。スキャンされたドキュメントや、auto がページを誤判定する場合に使用してください。
{ type: "pdf" }"pdf" は、どちらもデフォルトで mode: "auto" になります。

スクレイピングのオプション

/scrape エンドポイントを使用する際は、以下のオプションでリクエストをカスタマイズできます。

フォーマット (formats)

formats 配列は、スクレイパーが返す出力フォーマットを制御します。デフォルト: ["markdown"] 文字列フォーマット: 名前をそのまま渡します (例: "markdown")。 オブジェクトフォーマット: type と追加オプションを含むオブジェクトを渡します。

コンテンツフィルタリング

これらのパラメータは、ページのどの部分を出力に含めるかを制御します。onlyMainContent は最初に実行されてナビゲーションやフッターなどの共通レイアウト部分を除去し、その後に includeTagsexcludeTags によって結果がさらに絞り込まれます。onlyMainContent: false を設定すると、タグフィルタリングの起点としてページ全体の HTML が使用されます。

タイミングとキャッシュ

PDF 解析

アクション

スクレイピング前にブラウザ アクションを実行できます。これは、動的コンテンツ、ナビゲーション、ユーザー制限付きページに対して有用です。1 リクエストあたり指定できるアクションは最大 50 個で、すべての wait アクションおよび waitFor の合計待機時間は 60 秒以内である必要があります。

アクション実行時の注意点

  • Write を使う前に、対象要素へフォーカスするための click が必要です。
  • Scroll は、ページ全体ではなく特定の要素をスクロールするために、任意の selector を指定できます。
  • Wait は、milliseconds(固定の待機時間)または selector(指定要素が表示されるまで待機)のいずれかを受け取ります。
  • アクションは 逐次的に 実行されます。各ステップは、次のステップが開始する前に完了します。
  • アクションは PDF では利用できません。URL が PDF に解決される場合、そのリクエストは失敗します。

高度なアクション例

スクリーンショットを撮影する:
cURL
複数の要素をクリックする:
cURL
PDF を生成する:
cURL

フルスクレイプの例

次のリクエストでは、複数のスクレイプオプションを組み合わせています。
cURL
このリクエストは、Markdown、HTML、raw HTML、リンク、およびページ全体のスクリーンショットを返します。コンテンツの対象を <h1><p><a>.main-content に絞り、#ad#footer を除外し、スクレイピング前に1秒待機し、タイムアウトを15秒に設定し、PDF解析を有効にします。 詳細は Scrape API reference を参照してください。

フォーマットによる JSON 抽出

formats 内で JSON フォーマットオブジェクトを使用して、一度の処理で構造化データを抽出します。

Agent endpoint

自律的に複数ページにまたがるデータを抽出するには、/v2/agent エンドポイントを使用します。エージェントは非同期で動作します。まずジョブを開始し、その後、結果が返ってくるまでポーリングします。

エージェントオプション

エージェントのステータスを確認する

進捗状況を確認するには、GET /v2/agent/{jobId} をポーリングします。レスポンスの status フィールドは "processing""completed"、または "failed" のいずれかになります。
cURL
Python および Node 用の SDK には、ジョブを開始し、完了するまで自動的にポーリングするための便利なメソッド firecrawl.agent() も用意されています。

複数ページのクロール

複数のページをクロールするには、/v2/crawl エンドポイントを使用します。クロールは非同期で実行され、ジョブIDが返されます。
cURL

レスポンス

クロールジョブを確認する

ジョブIDを使用してクロールのステータスを確認し、その結果を取得します。
cURL
コンテンツサイズが 10MB を超える場合、またはクロールジョブがまだ実行中の場合、レスポンスには next パラメータ(次の結果ページを指す URL)が含まれることがあります。

クロール用プロンプトとパラメータのプレビュー

自然言語の prompt を指定すると、Firecrawl がクロール設定を自動で推定します。まずはプレビューしてください:
cURL

クローラーオプション

/v2/crawl エンドポイントでは、次のオプションでクロールの挙動をカスタマイズできます。

パスフィルタリング

開始 URL も includePaths に対してチェックされます。いずれのパターンにもマッチしない場合、クロールの結果が 0 ページになる可能性があります。

クロール範囲

サイトマップと重複排除

クローリング時のスクレイプオプション

クロールの例

cURL
/v2/map エンドポイントは、指定したウェブサイトに関連する URL を特定します。
cURL

マップオプション

該当するAPIリファレンスはこちら: Map Endpoint Documentation

Firecrawl をホワイトリストに追加する

自分のウェブサイトのスクレイピングを Firecrawl に許可する

  • User Agent: ファイアウォールやセキュリティルールで FirecrawlAgent を許可してください。
  • IP addresses: Firecrawl は、外向き通信に固定の送信元 IP アドレスを使用していません。

アプリケーションから Firecrawl API への呼び出しを許可する

ファイアウォールがアプリケーションから外部サービスへのアウトバウンドリクエストをブロックしている場合は、アプリケーションが Firecrawl API(api.firecrawl.dev)に到達できるよう、Firecrawl の API サーバーの IP アドレスをホワイトリストに追加する必要があります。
  • IP Address: 35.245.250.27
この IP をファイアウォールのアウトバウンド許可リストに追加し、バックエンドから Firecrawl へ scrape、crawl、map、および agent リクエストを送信できるようにしてください。