4. オススメなLLM・モデルと具体的な導入方法（Mac編）
早速、ローカルLLMを導入していきましょう！
と思いますが、ローカルLLMも複数あります。
どれがいいのかみていきましょう。
1.ローカルLLMの種類とオススメ
| ツール | API連携 | モデル管理 | 得意な用途 |
|---|---|---|---|
| Ollama | OpenAI互換のREST APIを標準搭載（localhost:11434） | ollama pull一発でGGUF取得・量子化まで自動 | 複数エージェントの並行運用、開発者向け統合 |
| LM Studio | GUI経由が中心でやや設定が必要 | GUIでモデルを選んでダウンロード | 個人のチャットUIとしての利用 |
| GPT4All | ローカルAPIはあるがGUI管理が主体 | GUI中心 | 手軽に触ってみる入門用途 |
| llama.cpp | サーバー機能は自前で実装が必要 | 手動でGGUF変換・配置 | 組み込み・細かいチューニング重視 |
| vLLM | 高スループット向けの本格API | HuggingFace形式を直接ロード | 本番サーバーでの大規模同時リクエスト処理 |
MisakiローカルLLMと一言で言っても、色々あるんですね。
どれがオススメなのでしょうか？
Susakiオススメは『Ollama』だよ。
理由としては、複数のAIエージェントが管理できるし、モデル管理がしやすく、常駐化しやすい点だね。
なぜ「Ollama」を選んだのか？他ツールとの比較
- 複数のAIエージェントを管理できる
1点目は、OpenAI互換のREST APIを最初から持っています。
SillyTavernやLangChainはもちろん、Cursor・Continue・Aiderといった主要な開発ツールもデフォルトでOllamaに対応しています。
そのため、「秘書エージェント」「テストエージェント」など用途ごとに別のスクリプトやツールから同じOllamaサーバーを叩くだけで済みます。
LM StudioやGPT4AllはGUI操作が前提になりやすく、自動化や複数プロセスからの呼び出しには一手間かかります。 - モデル管理がしやすい
2点目は、モデル管理の手軽さです。
ollama pull qwen2.5:7bのように1コマンドでダウンロード・量子化・実行までできるので、秘書用途には軽量モデル、テスト用途には精度重視モデル、といった使い分けが簡単に行えます。
llama.cppのように自分でGGUF変換やサーバー実装をする必要がありません。 - サービスを常駐化しやすい
3点目は、brew services start ollamaで常駐サービス化できること。
一度起動しておけば、companion-agent・secretary-agent・qa-test-agentのような複数のエージェントディレクトリから同時に同じOllamaサーバーへアクセスできます。
vLLMのような本番向けの重厚な構成は不要で、Mac mini一台で複数エージェントを賄うのにちょうど良いバランスです。
Susaki上記理由でOllamaを導入していきます。
続いて、Ollamaの「モデル」を紹介します。
2.モデル比較
| クラス | モデル(タグ) | パラメータ数 | ダウンロードサイズ(Q4) | 必要RAM目安 | 想定用途 |
|---|---|---|---|---|---|
| 初級 | llama3.2:3b | 3B | 約1.9GB | 4GB〜 | 動作確認・軽い雑談。低スペックMacでも快適、応答も高速 |
| 中級 | qwen2.5:7b | 7B | 約4.4GB | 8GB〜 | 日常会話や簡単な文章作成。速度と精度のバランス型 |
| 上級 | qwen2.5:14b | 14B | 約8.7GB | 16GB〜 | 複雑な指示や長めの会話にも対応 |
| 上位 | qwen2.5:32b | 32B | 約18.8GB | 32GB〜 | さらに高精度モデル |
Susaki私の場合、MacminiM4Pro 48GBメモリモデルで利用するので、「上級」モデルを利用します。
導入ステップでは、「上級モデル」の内容で紹介します。
3.導入ステップ
ターミナルを起動後、以下を入力し、Homebrewをインストールします
brew install ollamaこれを設定することで、後続操作のエラーを回避できます。
“could not connect to ollama server” エラーを回避)
モデルをダウンロードします。
今回は、上級モデルを使用します。
ollama pull qwen2.5:14b
以下コマンドを入力し、起動します。
ollama run qwen2.5:14b5. ローカルLLMでのやり取り
起動したら、メッセージを入力して応答を確認してみましょう。
挨拶や、取り組んでほしいことなどを連絡するだけでやり取りが始まります。
Misakiコマンドプロンプトから簡単に動かせるんですね！
でも、文字だけの画面だと少し寂しい気もします…。
Susakiそうだね。
次回はもっと便利で楽しく使うために、キャラクターや声を設定できるツールを紹介するよ！
6. さらなるローカルLLMの発展利用「SillyTavern」の導入編へ続く
Ollamaはターミナル上でやり取りができますが、インターフェースのあるツールを使うと色々なカスタマイズが可能になります。
次回は以下のような機能を持つ「SillyTavern」の導入について解説します。
- 複数のキャラクター設定
- VoiceVoxなどの音声設定
- データ蓄積型で、オリジナルのAIへブラッシュアップ
- PCだけでなく、iPhone等のモバイルとのやり取りも可能
- 複数のAIとユーザーでやり取りが可能な「グループチャット」
上記手順もご紹介していきたいと思います。
是非、続けて当ブログをチェック頂けたら幸いです。
最後まで読んで頂き、ありがとうございました！
コメント