WebサイトをAIが読みやすいMarkdownに変えて集める、無料で人気のツール。
#データ収集#Markdown化
ミロンドが自分で確かめたこと
- 2026年8月23日「配布元を見る」の行き先が、今も開けることを確認しました。
- 2026年7月30日公式の説明を読んで、開発が止まったというサインが無いことを確認しました。
- 2026年8月25日ミロンドが毎日数えている記録では、この17日間で お気に入りが2,069件増えました(今も使われ続けています)。
ミロンドは掲載しているすべての行き先を定期的に開いて、今も使えるかを確かめています。 利用ルールは名前だけで判断せず、原文を読んで確認しています。
「ブラウザ自動化」12本の中での位置
- APIキーの用意がいらないこの分野で3本
- 作ったものを仕事に使ってよいと確認できているこの分野で12本
- 黒い画面(ターミナル)の操作が要りますそうでないものが1本 →
- 入れた内容は公開元に送られますそうでないものが1本 →
上の条件をすべて満たすものは、12本中3本です。
この数字は、ミロンドが掲載している道具を1本ずつ同じ基準で調べた結果から数えています。
これは何?本格派向けの部品(プログラムに組み込む)
できること
指定したWebページの中身を高速に巡回し、AIが読み込みやすい整形済みのテキスト(Markdown)として取得できる。自作のAIチャットボットに社内サイトや特定ページの情報を読み込ませる、といった開発の下準備によく使われる。
誰に効く?
Webの情報をAIに与えたい人
用意するもの
時間のめやす
—(本格派向け)
使えるようになるまでの手順をひらく
- これは「作る人向けの材料」なので、単体でアプリのようには使えません
- 同じ目的の完成品ツールを「かわりにこちら」から探すのがおすすめです
こんな人には向かないかも
- プログラムを書かない人(これは単体で使う道具ではなく、作る人向けの部品です)
迷ったらこれ:いつも使っているAIチャット(ChatGPT・Claude・Geminiなど)にこのツールのGitHubリンクを貼って 「これを使いたい。私のPCでの始め方を一歩ずつ教えて」と頼むのが一番の近道です。
むずかしそう? 同じジャンルで、もっと始めやすいのはこちら
注意点
取得先の利用規約・負荷への配慮は自分で。
ひとことメモ
ローカルで動く。使い方しだいの面は注意。
やりたいことから探す
Crawl4AIについてよくある質問
- Crawl4AIは無料で使えますか?
- 無料で使えます。自分のパソコンの中で動くタイプなので、使った量に応じた料金もかかりません。
- Crawl4AIを使うのに、インストールや専門知識は必要ですか?
- これはプログラムに組み込んで使う部品です。単体のアプリとしては使えません。
- Crawl4AIはスマホでも使えますか?
- スマホには対応していません。パソコンが必要です。
- Crawl4AIは仕事(商用)で使えますか?
- ライセンスは Apache-2.0 で、商用利用も認められています。ただし著作権表示を残すなどの条件が付くので、配布物に含める場合はライセンス本文を確認してください。
似ている道具との違い
同じ用途の道具と、使う前に効いてくる条件を並べました。
| 道具 | 黒い画面 | APIキー | 外部送信 | スマホ | 仕事に使える | 最終更新 |
|---|---|---|---|---|---|---|
| Crawl4AI(このページ) | 要る | いらない | あり | むずかしい | 可 | 2026年8月 |
| Firecrawl | 要る | 要る | あり | 使える | 可 | 2026年8月 |
| browser-use | 要る | 要る | あり | むずかしい | 可 | 2026年8月 |
| Puppeteer | 要る | いらない | あり | むずかしい | 可 | 2026年8月 |
「外部送信あり」は、入力した内容がどこかのサーバーに送られることを指します。 社外に出せない資料を扱うときは「なし」を選んでください。
ブラウザ自動化のほかのツール
Crawl4AIが合わなかったときの、同じ用途の候補です。
Firecrawl
WebサイトをAI用のきれいなデータに変える
準備がいる・黒い画面(ターミナル)が要る
browser-use
AIにブラウザを操作させる
準備がいる・黒い画面(ターミナル)が要る
Puppeteer
Google製のブラウザ自動操作の老舗
はじめやすい・黒い画面(ターミナル)が要る
Playwright
ブラウザ自動操作の定番エンジン
はじめやすい・黒い画面(ターミナル)が要る
Stagehand
自然な言葉でブラウザ操作を書く
準備がいる・黒い画面(ターミナル)が要る
Skyvern
見た目で判断してWeb作業を代行するAI
準備がいる・黒い画面(ターミナル)が要る
