Microsoft Phi-3 Visionを使い、画像と文章をまとめて理解させるデモです。画像説明や質問応答に使えます。
#画像理解#マルチモーダル
※この説明はAIが公式READMEから自動生成したものです。内容は必ず公式ページでもご確認ください。
これは何?アプリに入れて使うAI本体(モデル)
できること
画像をアップロードして内容を説明させたり、写っているものについて質問できます。図表やスクリーンショットの要約確認にも使えます。
誰に効く?
資料作成者、分析担当者
用意するもの
画像、質問文
時間のめやす
5〜15分(アプリ導入後)
使えるようになるまでの手順をひらく
- まず入れ物のアプリを用意する(Jan・GPT4All・Ollamaなど。「」カテゴリから選べます)
- アプリ内のモデル一覧でこの名前を探してダウンロード(Ollamaなら黒い画面で ollama run 名前)
- あとは普通にチャットするだけ。合わなければ消して別のモデルに替えればOK
こんな人には向かないかも
- 入れ物アプリ(Jan・Ollama等)をまだ入れていない人(先にそちらの準備を)
迷ったらこれ:いつも使っているAIチャット(ChatGPT・Claude・Geminiなど)にこのツールのGitHubリンクを貼って 「これを使いたい。私のPCでの始め方を一歩ずつ教えて」と頼むのが一番の近道です。
注意点
細部の読み間違いや推測が混じることがあります。重要判断には原画像での確認が必要です。 ここに書いたは、このお試しページ自体のものです。作ったものを仕事に使えるかどうかは、中で使われているAIモデルの条件で決まります。使われているモデルは商用利用も認められています(mit)。ただし著作権表示など条件が付く場合があるので、配布物に含めるなら本文を確認してください。
ひとことメモ
公開元のサーバー上で動くお試しページです。アップロードした画像や文章はその環境に送られるので、社外に出せないものは入れないでください。混み合っていると順番待ちになることがあります。
Microsoft Phi-3-Vision-128kについてよくある質問
- Microsoft Phi-3-Vision-128kは無料で使えますか?
- 無料で使えます。自分のパソコンの中で動くタイプなので、使った量に応じた料金もかかりません。
- Microsoft Phi-3-Vision-128kを使うのに、インストールや専門知識は必要ですか?
- これはAI本体のデータで、単体では動きません。Jan や Ollama のような「入れ物アプリ」に読み込ませて使います。
- Microsoft Phi-3-Vision-128kはスマホでも使えますか?
- スマホには対応していません。パソコンが必要です。
- Microsoft Phi-3-Vision-128kは仕事(商用)で使えますか?
- ライセンスは MIT で、商用利用も認められています。ただし著作権表示を残すなどの条件が付くので、配布物に含める場合はライセンス本文を確認してください。
AIモデルのほかのツール
Microsoft Phi-3-Vision-128kが合わなかったときの、同じ用途の候補です。
idefics2 playground
画像を見て会話
上級者向け・黒い画面いらない
minigpt4
画像を読むチャット
準備がいる・黒い画面いらない
BLIP2
BLIP2画像理解
上級者向け・黒い画面いらない
PolaroidVL-1.0-Demo
小型の画像質問AI
準備がいる・黒い画面いらない
Phi-3.5-Vision
画像の内容を理解して答えるAI
上級者向け・黒い画面いらない
janus-pro-webgpu
ブラウザで画像理解と生成
上級者向け・黒い画面いらない