基本的なスクレイピング
/scrape エンドポイントを使用します。
PDFのスクレイピング
parsers オプション(例: parsers: ["pdf"])を使用してください。mode オプションで解析戦略を制御できます。
auto(デフォルト) — まず高速なテキストベース抽出を試み、必要に応じてOCRにフォールバックします。fast— テキストベースの解析のみ(埋め込みテキスト)。最も高速ですが、スキャンされたページや画像の多いページはスキップされます。ocr— すべてのページで強制的にOCR解析を行います。スキャンされたドキュメントや、autoがページを誤判定する場合に使用してください。
{ type: "pdf" } と "pdf" は、どちらもデフォルトで mode: "auto" になります。
スクレイピングのオプション
/scrape エンドポイントを使用する際は、以下のオプションでリクエストをカスタマイズできます。
フォーマット (formats)
formats 配列は、スクレイパーが返す出力フォーマットを制御します。デフォルト: ["markdown"]。
文字列フォーマット: 名前をそのまま渡します (例: "markdown")。
オブジェクトフォーマット:
type と追加オプションを含むオブジェクトを渡します。
コンテンツフィルタリング
onlyMainContent は最初に実行されてナビゲーションやフッターなどの共通レイアウト部分を除去し、その後に includeTags と excludeTags によって結果がさらに絞り込まれます。onlyMainContent: false を設定すると、タグフィルタリングの起点としてページ全体の HTML が使用されます。
タイミングとキャッシュ
PDF 解析
アクション
wait アクションおよび waitFor の合計待機時間は 60 秒以内である必要があります。
アクション実行時の注意点
- Write を使う前に、対象要素へフォーカスするための
clickが必要です。 - Scroll は、ページ全体ではなく特定の要素をスクロールするために、任意の
selectorを指定できます。 - Wait は、
milliseconds(固定の待機時間)またはselector(指定要素が表示されるまで待機)のいずれかを受け取ります。 - アクションは 逐次的に 実行されます。各ステップは、次のステップが開始する前に完了します。
- アクションは PDF では利用できません。URL が PDF に解決される場合、そのリクエストは失敗します。
高度なアクション例
cURL
cURL
cURL
フルスクレイプの例
cURL
<h1>、<p>、<a>、.main-content に絞り、#ad と #footer を除外し、スクレイピング前に1秒待機し、タイムアウトを15秒に設定し、PDF解析を有効にします。
詳細は Scrape API reference を参照してください。
フォーマットによる JSON 抽出
formats 内で JSON フォーマットオブジェクトを使用して、一度の処理で構造化データを抽出します。
Agent endpoint
/v2/agent エンドポイントを使用します。エージェントは非同期で動作します。まずジョブを開始し、その後、結果が返ってくるまでポーリングします。
エージェントオプション
エージェントのステータスを確認する
GET /v2/agent/{jobId} をポーリングします。レスポンスの status フィールドは "processing"、"completed"、または "failed" のいずれかになります。
cURL
firecrawl.agent() も用意されています。
複数ページのクロール
/v2/crawl エンドポイントを使用します。クロールは非同期で実行され、ジョブIDが返されます。
cURL
レスポンス
クロールジョブを確認する
cURL
next パラメータ(次の結果ページを指す URL)が含まれることがあります。
クロール用プロンプトとパラメータのプレビュー
prompt を指定すると、Firecrawl がクロール設定を自動で推定します。まずはプレビューしてください:
cURL
クローラーオプション
/v2/crawl エンドポイントでは、次のオプションでクロールの挙動をカスタマイズできます。
パスフィルタリング
クロール範囲
サイトマップと重複排除
クローリング時のスクレイプオプション
クロールの例
cURL
ウェブサイトリンクのマッピング
/v2/map エンドポイントは、指定したウェブサイトに関連する URL を特定します。
cURL
マップオプション
該当するAPIリファレンスはこちら: Map Endpoint Documentation
Firecrawl をホワイトリストに追加する
自分のウェブサイトのスクレイピングを Firecrawl に許可する
- User Agent: ファイアウォールやセキュリティルールで
FirecrawlAgentを許可してください。 - IP addresses: Firecrawl は、外向き通信に固定の送信元 IP アドレスを使用していません。
アプリケーションから Firecrawl API への呼び出しを許可する
api.firecrawl.dev)に到達できるよう、Firecrawl の API サーバーの IP アドレスをホワイトリストに追加する必要があります。
- IP Address:
35.245.250.27
