公式の紹介画像
企業がAIサービスの裏側で使う本格エンジン。個人の「お試し」の次の世界。
#高速#本格運用
これは何？本格派向けの部品（プログラムに組み込む）
できること
大勢が同時に使ってもさばける高速なAIサーバーを構築できる。カリフォルニア大学バークレー校発の高速化技術で、同じでも数倍の処理量。社内AIサービスや製品の裏側を自前化する時の世界標準。
誰に効く？
チームや製品でローカルAIを本格運用したい人
用意するもの
高性能（ 16GB〜）、、Linux推奨
時間のめやす
—(本格派向け)
使えるようになるまでの手順をひらく
- これは「作る人向けの材料」なので、単体でアプリのようには使えません
- 同じ目的の完成品ツールを「かわりにこちら」から探すのがおすすめです
こんな人には向かないかも
- プログラムを書かない人（これは単体で使う道具ではなく、作る人向けの部品です）
- 高性能なグラフィック機能（GPU）のないPCの人
迷ったらこれ：いつも使っているAIチャット（ChatGPT・Claude・Geminiなど）にこのツールのGitHubリンクを貼って 「これを使いたい。私のPCでの始め方を一歩ずつ教えて」と頼むのが一番の近道です。
むずかしそう？ 同じジャンルで、もっと始めやすいのはこちら
注意点
完全に上級者向け。個人が1人で使う用途にはOllamaで十分。
ひとことメモ
大学発・企業の採用実績多数の定番基盤。
vLLMについてよくある質問
- vLLMは無料で使えますか？
- 無料で使えます。自分のパソコンの中で動くタイプなので、使った量に応じた料金もかかりません。
- vLLMを使うのに、インストールや専門知識は必要ですか？
- これはプログラムに組み込んで使う部品です。単体のアプリとしては使えません。
- vLLMはスマホでも使えますか？
- スマホには対応していません。パソコンが必要です。
- vLLMは仕事（商用）で使えますか？
- ライセンスは Apache-2.0 で、商用利用も認められています。ただし著作権表示を残すなどの条件が付くので、配布物に含める場合はライセンス本文を確認してください。
ローカルLLMのほかのツール
vLLMが合わなかったときの、同じ用途の候補です。
Ollama
自分のPCでAIモデルを動かす
はじめやすい・ターミナル操作あり
Open WebUI
ローカルAIをChatGPT風の画面で使う
はじめやすい・ターミナル操作あり
llama.cpp
軽量にAIモデルを動かす土台
はじめやすい・ターミナル操作あり
LocalAI
自前で立てる無料のAIサーバー
はじめやすい・ターミナル操作あり
text-generation-webui
ローカルLLMの多機能操作画面
はじめやすい・ターミナル操作あり
exo
家のPCやスマホを束ねてAIを動かす
はじめやすい・ターミナル操作あり