最新のWebサイトはJavaScriptによって動的にHTMLを生成するため、通常のHTTPリクエストではデータを取得できません。
1. なぜ動的サイトはスクレイピングが難しいのか？
クライアントサイドレンダリング（CSR）では、初期HTMLにはデータが含まれず、JavaScript実行後に初めて画面に表示されます。
2. 動的ローディングの3大パターン
無限スクロール、クリックによる追加読み込み、画像の遅延読み込み（Lazy Load）の3種類が存在します。
3. ブラウザネイティブ実行による解決策
BeeCaiはブラウザ上で直接動作するため、JavaScriptの実行結果をそのまま画面上で確認しながら抽出できます。
4. 無限スクロールの設定手順
自動スクロール機能を有効化し、ページが読み込まれる待機時間を設定するだけで全データを取得可能です。
5. Shadow DOMとIFrameのデータ抽出
Web Components規格のShadow Root内部にカプセル化されたデータも透過的に抽出できます。
6. レンダリング待機時間の最適化
海外サイトなど読み込みに時間がかかる場合は、待機時間を1.5〜2秒に設定してください。
