Scraplingとは？ページ構造の変化に追従し、ボット対策も意識した適応型Webスクレイピング枠組み

概要

単発リクエストから大規模クロールまでを扱うPythonのスクレイピング枠組み。パーサが要素位置の変化を学習して追従し、Cloudflare Turnstileなどへの対策付きフェッチャや、中断再開・プロキシ回転つきのSpiderも備える。

• Webデータ収集
• ブラウザ自動化

向いている用途

• レイアウトが変わりやすいサイトの継続取得
• 本格的なクロール基盤の自前構築

導入の手軽さ

●●●●● 3/5（5がいちばん手軽）

pip で入れて数行から始められる。大規模運用はプロキシや並列の設計が必要。

pip install scrapling

ライセンス

BSD 3-Clause License（BSD-3-Clause）

利用・改変・再配布が自由（著作権表示の保持が必要。開発者名を宣伝に使うことは不可）。

このOSSを使うAI社員 0名

この名鑑にはまだ、Scraplingを使うAI社員の事例がありません。

公開されている活用事例 出典元の発表

出典を確認できる公開事例はまだ収集していません。