初めに
こんにちは。
みなさんは、日々のタスク管理や、日常生活でサポートしてくれる「AI秘書」が欲しいと考えたことはありませんか?
今回から始まる新シリーズでは、「Susakiworks秘書作成」として、完全ローカル環境で動くAI秘書の構築手順を余すところなく公開します。
最終目標は、iPhoneやiPadからいつでもやり取りができる「アイアンマンのジャービス」のような立ち位置のAIエージェントを作ることです。
1.プロジェクト発足:なぜ「AI秘書」を作るのか?
MisakiSusakiさん、今回の『Susakiworks秘書作成』って、要するにChatGPTを使うのとは違うんですか?



ChatGPTも優秀だけど、今回は『完全ローカル』で『自分専用の音声』を持った日常的なパートナーを設計したいんだ。
「データ蓄積」で、ブログやNoteの原稿作成のドラフト作りといった手動タスクを任せるだけでなく、iPhoneやiPadから外出先でもアクセスできる環境を目指すよ。



外出先のiPhoneやiPadから、自宅のAIにアクセスするんですか?
なんだか設定が難しそうです…。



実は、最初はWindowsやMacBook Airで検証したんだけど、見事に失敗して1ヶ月ぐらい時間を溶かしてしまったんだ。
2.【QA視点でのRCA】WindowsとMacBook Airでの失敗原因
実務におけるQA(品質保証)の観点から、なぜ初期の環境構築が失敗したのか、根本原因(RCA)を分析します。
Windows環境の壁:TTSと依存関係の地獄
Windowsでは、Ollama(※1)やSillyTavern(※2)の導入、キャラクター設定までは成功しました。
しかし、最大の鬼門は「音声(TTS)」でした。
AllTalk TTSなどのローカルTTSを安定動作させようと試みましたが、Python環境の依存関係、パスの扱い、CUDA/GPU周りの設定エラーが頻発しました。
トラブルシューティングのためにAI(Grok)に相談しても、同じ提案がループする現象に陥り、問題の切り分けが困難になりました。
※1:Ollama(オラマ)とは?
ローカル環境(自分のPC内)で大規模言語モデル(LLM)を動かすためのコアエンジンです。
ChatGPTのようにクラウドサーバーへデータを送信しないため、機密性の高いプロジェクトの相談や、外部に漏らせないブログのアイデア出しなども完全にセキュアな状態で行うことができます。
今回のAI秘書の「脳」にあたる部分です。
※2:SillyTavern(シリィタバーン)とは?
AIキャラクターとの対話に特化した、ブラウザベースの強力なユーザーインターフェース(UI)です。
Ollama(脳)と接続することで、キャラクターの性格・プロンプト設定、過去の会話履歴の管理などを統合的に行う「ハブ」として機能します。
iPhoneやiPadからアクセスする際の「顔」となる画面も、このSillyTavernが担います。



Windows環境は、2020年に自作したCPU:Core i9 10900(10コア20スレッド)、メモリ:64GB、SSD:2TB、GeForce RTX 3060とそれなりのスペックでしたが、Pythonとの環境依存、およびTTSとの相性問題が発生した際は、心が折れそうになりました・・・
Core i9 10900は、実はMac M2と同等ぐらいらしいです。
コア数で勝っていても、性能的には劣る部分もあるとのこと・・・。
MacBook Air(M2)の壁:物理メモリ8GBの限界
次にMacBook Air(M2)で試みました。
Homebrewを使ってNodeやGit、Ollamaをインストールし、順調に進んでいるように見えました。
しかし、SillyTavernを起動した瞬間に物理メモリが枯渇し、PC全体が何も操作を受け付けなくなり、「強制終了するしかない完全フリーズ」状態に陥りました。
メモリ8GBではLLMと対話UIの同時起動は「使い物にならない」という結論に至りました。



正直MacBookAirM2は、「SillyTavern」を動かすまでは、全然フリーズなど発生せず、サクサク動いていました。
物理メモリ8GBがここで響くとは、思ってもいませんでした。
3.解決策:Mac miniによるAppleエコシステムの構築


これらの失敗と冷静な状況整理を経て、「LLM需要に耐えうるスペック」としてMac mini(M4 Pro)の導入を決断しました。
結果として、Claudeを活用しながらわずか2時間足らずで「Ollama + SillyTavern + VoiceVox(※3)」の構成に成功しました。
このMac miniを中核に据えることで、iPadやiPhoneと連携した強力なAppleエコシステムが完成し、アプリ制作やメディア発信のアウトプットが劇的に加速します。
※3:Voicevox(ボイスボックス)とは?
商用・非商用問わず無料で使える、高品質な日本語音声合成(TTS:Text-to-Speech)エンジンです。
SillyTavernと連携させることで、AI秘書が単なるチャットボットではなく、実際に「声」を持って応答するようになります。
アイアンマンのジャービスのような没入感とリアリティを生み出すための必須ツールです。
(ずんだもんでおなじみ)
4.今後のシリーズ構成(テスト計画)
本シリーズでは、以下の要件(テスト観点)を満たすまでの手順を、タスクを消化する形式でステップバイステップで解説していきます。
【成功編ロードマップ】
ローカルLLM基盤の構築を解説します。
対話用UIのセットアップについて解説します。
秘書キャラクターへの音声紐付けについて、解説します。
キャラクターの人格とプロンプトの設計を解説します。
Wi-Fi内(192.168.0.0/16など)からアクセス制御を設定する方法を解説します。
外出先からPC側のスリープ無効化等の壁を越え、同一tailnetでiPhoneやiPadから接続する方法を解説します。



どの設定も難しそうです。。。



大丈夫!
ブログxNotexYoutubeのクロスメディアでそれぞれ丁寧に解説し、詰まる部分も補足するから安心してね。



ブログxNotexYoutubeのそれぞれで解説があるとわかりやすいですね!
【SusakiWorksエコシステムからのご案内】
感情揺さぶる開発裏話(Note)
「なぜ1ヶ月も無駄にしてしまったのか?」「Windowsでの泥臭いエラー格闘の全貌」など、エンジニアなら誰もが共感する生々しい失敗談とMac mini購入に至った感情の動きは、Noteの最新記事で公開します!
視覚でわかる構築デモ(YouTube)
文章だけでは分かりにくい「Tailscaleでの連携の動き」や「iPhoneやiPadからの実際のレスポンス速度」は、YouTubeの最新ショート動画でデモを公開します。
チャンネル登録してお待ちください!
次回は、「Ollama導入とSillyTavernの初期設定」について、実務で使えるチェックリスト付きで解説します。お楽しみに!
最後まで読んで頂き、ありがとうございました!

コメント