スクレイピングを高速化

maxAge（キャッシュ）パラメータでスクレイプを最大5倍高速化

​

仕組み

Firecrawl は過去にスクレイプしたページをキャッシュし、デフォルトでは利用可能な場合に新しいコピーを返します。

• デフォルトの鮮度: maxAge = 172800000 ms（2日）。キャッシュのコピーがこの期間内に更新されていれば即時に返し、そうでなければ Firecrawl が新規にスクレイプしてキャッシュを更新します。
• 常に最新を取得: 常にスクレイプするには maxAge: 0 を設定します。この設定ではキャッシュを完全にバイパスするため、すべてのリクエストがフルのスクレイピングパイプラインを通過し、その結果、完了までに時間がかかりやすくなり、失敗する可能性も高くなります。すべてのリクエストでリアルタイムなコンテンツが不要な場合は、0 以外の maxAge を使用してください。
• キャッシュを保存しない: リクエスト結果を保存したくない場合は storeInCache: false を設定します。

絶対に最新である必要がない場合、結果を最大 500% 高速に取得できます。鮮度は maxAge で制御します:

1. ページの新しいバージョンがある場合は即時に返す
2. 指定した期間より古い場合にのみ新規にスクレイプ
3. 時間を節約 — 結果が秒ではなくミリ秒で返る

​

これを使うべきタイミング

適している用途:

• ドキュメント、記事、製品ページ
• バッチ処理ジョブ
• 開発・テスト
• ナレッジベースの構築

見送るべき用途:

• リアルタイムデータ（株価、ライブスコア、速報）
• 更新頻度の高いコンテンツ
• 時間にシビアなアプリケーション

​

使い方

スクレイプリクエストに maxAge（ミリ秒）を追加します（例：3600000 は 1 時間）。

Python

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR_API_KEY")

# キャッシュが1時間以内（3600000 ms）ならそのまま利用します
# 新規スクレイプより最大で5倍高速になります！
scrape_result = firecrawl.scrape(
    'https://firecrawl.dev',
    formats=['markdown'],
    max_age=3600000  # 1 hour in milliseconds
)

print(scrape_result.markdown)

​

よく使われる maxAge の値

参考になる目安は次のとおりです:

• 5分: 300000 - 半動的なコンテンツ向け
• 1時間: 3600000 - 毎時更新されるコンテンツ向け
• 1日: 86400000 - 日次更新のコンテンツ向け
• 1週間: 604800000 - 比較的静的なコンテンツ向け

​

パフォーマンスへの影響

maxAge が有効な場合:

• 直近のコンテンツで応答が最大5倍高速
• 新規スクレイプを待たずに結果を即時に返す

​

重要な注意事項

• デフォルト: maxAge は 172800000（2日）
• 必要時に最新化: データが maxAge より古い場合は、自動で新しくスクレイピングします
• 古いデータなし: 指定した maxAge より古いデータは返されません
• クレジット: キャッシュされた結果も 1 ページあたり 1 クレジットを消費します。キャッシュは速度とレイテンシを改善しますが、クレジットの消費量は変わりません。

​

より高速なクロール

複数ページのクロールでも同じ速度向上の効果があります。最近取得したページのキャッシュ結果を返すには、scrapeOptions 内で maxAge を使用してください。

Python

from firecrawl import Firecrawl
from firecrawl.v2.types import ScrapeOptions

firecrawl = Firecrawl(api_key="fc-YOUR_API_KEY")

# キャッシュを活用したスクレイピングによるクロール — 最近取得済みのページは最大5倍高速
crawl_result = firecrawl.crawl(
    'https://firecrawl.dev',
    limit=100,
    scrape_options=ScrapeOptions(
        formats=['markdown'],
        max_age=3600000  # Use cached data if less than 1 hour old
    )
)

for page in crawl_result.data:
    print(f"URL: {page.metadata.source_url}")
    print(f"Content: {page.markdown[:200]}...")

maxAge を指定してクロールすると、対象ページに最近のキャッシュデータがある場合、クロール中の各ページで最大500%の速度向上が見込めます。

今日から maxAge を活用して、スクレイプとクロールを劇的に高速化しましょう！