Webページを開いて、そこから「商品名・価格・在庫」のように必要な項目だけを取り出し、決まった形のデータにする部品です。ページの作りが変わっても、AIが意味を見て拾うので壊れにくいのが利点です。取り出したい形を先に指定しておく仕組みになっています。
#スクレイピング#構造化
ミロンドが自分で確かめたこと
- 2026年8月23日「配布元を見る」の行き先が、今も開けることを確認しました。
- 2026年8月14日利用ルールの原文(LICENSE.md)を読みました。特別な条件は書かれていませんでした。
- 2026年7月31日公式の説明を読んで、開発が止まったというサインが無いことを確認しました。
- 2026年8月25日ミロンドが毎日数えている記録では、この17日間で お気に入りが16件増えました(今も使われ続けています)。
ミロンドは掲載しているすべての行き先を定期的に開いて、今も使えるかを確かめています。 利用ルールは名前だけで判断せず、原文を読んで確認しています。
「ブラウザ自動化」12本の中での位置
- 作ったものを仕事に使ってよいと確認できているこの分野で12本
- 黒い画面(ターミナル)の操作が要りますそうでないものが1本 →
- APIキーの用意が要りますそうでないものが3本 →
- 入れた内容は公開元に送られますそうでないものが1本 →
この数字は、ミロンドが掲載している道具を1本ずつ同じ基準で調べた結果から数えています。
これは何?黒い画面(ターミナル)で動かすツール
できること
任意のページからの項目抽出/取り出す形の指定/複数のAIモデルに対応/HTML・Markdown・テキスト・画像など複数の読み取り方/抽出処理のコード生成
誰に効く?
Webから定期的に情報を集めたい開発者。ページ改修のたびに集計が壊れて困っている人
用意するもの
コマンド入力とNode(プログラムの土台)の知識が必要です。使うAIの鍵も要り、ページ数に応じて費用がかかります。
時間のめやす
15〜30分(AIに聞きながらコピペ)
使うとこうなる
- 1npmで依存を入れる→スクレイパーを使う準備ができる
- 2LLMを初期化する→抽出に使うモデルを選べる
- 3ページと項目定義を渡す→JSON風の結果が返る
作れるもの・できることの例
記事一覧の抽出、商品情報の表データ化、Web調査データ
使えるようになるまでの手順をひらく
- 「」という文字だけの画面を使います(Windowsなら PowerShell)
- GitHubページの「Installation」に書かれたコマンドを順番に実行
- つまずいたら、いつも使っているAIチャットに「(ツール名)のインストールを手伝って」と聞くのがおすすめ
こんな人には向かないかも
- 黒い画面(ターミナル)にまだ抵抗がある人
- 登録やAPIキーの設定を一切やりたくない人
🔑 必要な鍵(APIキー)— 下のどれか1社でOK
すでにどこかの鍵を持っていればそれが使えます。まだ無いなら Google(Gemini)が一番かんたんです。
Google(Gemini) の発行ページ↗Googleアカウントがあれば無料で即発行。無料枠も大きく、一番かんたん
OpenAI(ChatGPT) の発行ページ↗発行は無料。APIはChatGPT Plus(月額)とは別勘定で、使った分だけの課金。※Codex等の一部公式ツールは、キーの代わりにChatGPTの月額プランでログインして使える
Anthropic(Claude) の発行ページ↗発行は無料。APIは月額プランとは別勘定で、使った分だけの課金。※Claude Codeは月額プラン(Pro等)のログインでも使える
鍵は「合鍵」の文字列。発行→コピー→ツールの設定に貼り付け、の3手です。迷ったらAIチャットに「画面つきで教えて」と。
迷ったらこれ:いつも使っているAIチャット(ChatGPT・Claude・Geminiなど)にこのツールのGitHubリンクを貼って 「これを使いたい。私のPCでの始め方を一歩ずつ教えて」と頼むのが一番の近道です。
むずかしそう? 同じジャンルで、もっと始めやすいのはこちら
注意点
集める対象サイトの規約を必ず確認してください。自動での取得を禁止しているサイトは多く、規約違反は接続の遮断や法的な問題につながります。取得の間隔を空ける、robots.txtに従うといった配慮も必要です。取り出した情報の再利用(特に転載や商用利用)にも、元サイトの権利が及びます。はMITです。
ひとことメモ
として公開されています。内容は公式ページでもご確認ください。
やりたいことから探す
llm-scraperについてよくある質問
- llm-scraperは無料で使えますか?
- llm-scraper自体は無料で使えますが、動かすのに外部AIのAPIキーが必要です。そのAI側の利用料は別にかかります(無料枠があるものもあります)。
- llm-scraperを使うのに、インストールや専門知識は必要ですか?
- コマンド入力(黒い画面)での操作が必要です。手順どおりに文字を打ち込む作業に慣れていないと、導入でつまずきやすいツールです。
- llm-scraperはスマホでも使えますか?
- スマホには対応していません。パソコンが必要です。
- llm-scraperは仕事(商用)で使えますか?
- ライセンスは MIT で、商用利用も認められています。ただし著作権表示を残すなどの条件が付くので、配布物に含める場合はライセンス本文を確認してください。
似ている道具との違い
同じ用途の道具と、使う前に効いてくる条件を並べました。
| 道具 | 黒い画面 | APIキー | 外部送信 | スマホ | 仕事に使える | 最終更新 |
|---|---|---|---|---|---|---|
| llm-scraper(このページ) | 要る | 要る | あり | むずかしい | 可 | 2026年8月 |
| Firecrawl | 要る | 要る | あり | 使える | 可 | 2026年8月 |
| browser-use | 要る | 要る | あり | むずかしい | 可 | 2026年8月 |
| Puppeteer | 要る | いらない | あり | むずかしい | 可 | 2026年8月 |
「外部送信あり」は、入力した内容がどこかのサーバーに送られることを指します。 社外に出せない資料を扱うときは「なし」を選んでください。
ブラウザ自動化のほかのツール
llm-scraperが合わなかったときの、同じ用途の候補です。
Firecrawl
WebサイトをAI用のきれいなデータに変える
準備がいる・黒い画面(ターミナル)が要る
browser-use
AIにブラウザを操作させる
準備がいる・黒い画面(ターミナル)が要る
Puppeteer
Google製のブラウザ自動操作の老舗
はじめやすい・黒い画面(ターミナル)が要る
Playwright
ブラウザ自動操作の定番エンジン
はじめやすい・黒い画面(ターミナル)が要る
Crawl4AI
AI用データ収集の人気クローラー
はじめやすい・黒い画面(ターミナル)が要る
Stagehand
自然な言葉でブラウザ操作を書く
準備がいる・黒い画面(ターミナル)が要る