本記事は弁護士ドットコム Advent Calendar 2025 、13 日目の記事になります。
弁護士ドットコム開発部、バックエンドエンジニアの堀川です。 2025 年 4 月に弁護士ドットコム株式会社の新卒 1 期生として入社し、12 月で 9 か月が経ちました。
Advent Calendar 12 日目の記事を担当された同期の千木良さんは新卒として感じた社内の雰囲気について書かれていましたが、 本記事は打って変わって、技術寄りの話をさせていただきます。
はじめに ~ ローカル LLM とは？ ~
これをお読みになっているみなさんはブラウザ上で ChatGPT や Gemini を、開発においては Cursor、Claude Code、Codex など、いわゆる「生成 AI サービス」をたくさん利用しているかと思います。
そのようなサービスを利用する中で、自然言語を用いてやりとりするための基盤となる技術が LLM(Large Language Model)です。
たとえばGPT-5、Gemini 3、Claude Opus 4.5などは LLM に付けられた名前（モデル名）です。
これらは各サービスの運営会社が持つクラウドサーバー上で実行されており、我々は生成 AI サービスを利用するたびに、クラウド上のモデルへアクセスを行っています。
本記事では、このようなクラウド上で実行される LLM に対し「ローカル（我々が持つ PC 上）で実行される」LLM を「ローカル LLM」と呼んでいきます。
今回はこのローカル LLM の簡単な導入方法と、そのメリット/デメリット、今後私がローカル LLM を用いて取り組んでいきたいことなどをお話しします。
手軽に始めるローカル LLM
ローカル LLM を利用するには、LLM を動作させるための pytorch や jax といった機械学習用ライブラリや、チャット内容や LLM 本体を管理する UI、他のアプリケーションに接続するための API サーバーなど、さまざまなツールを用意する必要があります。
1 つ 1 つ丁寧にインストールするやり方も考えられますが、ツール間の接続が大変であったり、ツールバージョンによってはデバイスドライバとの相性問題が生じるなど、さまざまな面で苦労することが多い印象です。
そのような苦労の多い導入に対し、より簡単なセットアップで済むように、LLM4All や Ollama といった OSS が公開されています。 多くのソフトウェアの中で、私個人の感覚として一番導入しやすいと感じたソフトが LM Studio です。
これをインストールすることで、Web 上に無料で公開・共有されているローカル LLM を簡単に利用し始めることができます。
Mac ユーザーの方は以下のコマンドで導入可能です。
brew install LM-Studio
また LM Studio は OpenAI 互換の API サーバーを実行する機能も持っており、ローカル環境でのアプリ開発や既存のコーディングツールとの接続が可能です。
インストール後は利用するモデルを選択する必要があります。 そこで、個人的なオススメモデルをいくつか紹介します。 （補足説明はあくまでも個人の感想です）
openai/gpt-oss-20b- 言わずと知れた OpenAI が公開したモデルで、ChatGPT に感じた質問応答能力の高さを感じ取れる
google/gemma-3-12b-it- Google が公開しているモデルで、他の多くのモデルと異なり、画像入力が可能
EssentialAI/rnj-1-instruct- EssentialAI が新たに公開した、コーディングや科学/数学分野に特化したモデル
common-pile/comma-v0.1-2tThe Common Pileグループがリリースした、学習に用いたデータがすべて公開されているモデル- v0.1 の名のとおり、まだまだ発展途上だが、その開発思想は一見の価値アリ
ローカル LLM のメリット/デメリット
多くの人々がクラウド LLM を利用する中で、ローカル LLM を推進する魅力とは一体何でしょうか？
ローカル LLM を使用しようとする中で挙げられる欠点としては、主に以下のようなものがあります。
- クラウド LLM に対する絶対的な性能差
- 管理・運用の大変さ
- 初期費用の高さ
クラウド LLM とローカル LLM の性能差には、クラウド LLM の運営会社が持つ膨大な入力/出力/評価データのセットが影響しています。 ローカル LLM はファインチューニングなどで性能向上を図れるものの「とりあえず使う」という手軽さを重視したケースにはクラウド LLM に軍配が上がります。
また最近は減ったように思いますが、OS やアプリアップデートでローカル LLM の実行環境が壊れてしまい、実行できなくなる可能性があります。 Temperature や Context Length など、細やかな設定が可能ですが、このような詳細部分の理解自体が大変です。
初期費用に関しては、以前は高額な GPU やサーバー機器を購入する必要がありましたが、最近は MacBook も性能が向上したり Copilot+ PC といったブランドの出現で、低コスト化が進んでいます。 しかし、PC の買い替えだけでも十分高コストです。逆に最近買い替えた人はすでに初期費用をお支払い済みで、実質タダということもできます。
このようなデメリットから敬遠されがちですが、私は以下のような点に大きなメリットを感じています。
- ローカルに閉じ切った入出力
- 長期的な視点におけるコストの低さ
- 外部の生成 AI サービスに対する依存の除去
ローカル LLM では、LLM とやりとりするために外部と通信する必要がなくなるため、機密性の高い情報も入力しやすくなります。 MCP サーバーなどでデータ送信を含むとこの限りではありませんが、何を入れ、何を出すかの決定権を持てる点は高い価値があると思っています。
またローカル LLM が実行可能な環境を用意できると、残りの主なコストは電気代です。 クラウド LLM への大量リクエストにより発生する、いわゆる「LLM 破産」してしまうこともなくなります。
さらに、ローカル環境にて LLM が実行されているため、外部サービスの障害により応答が得られなくなるという心配がなくなります。
多くのエンジニアが苦労したであろう「レートリミット」の概念もなくなります。
ほかにも Google のモデルバージョン・ライフサイクルに見られるような「いままで使えていたモデルが使えなくなる」という事例も考慮する必要がなくなります。
総じて「生成 AI サービス提供会社に振り回されることがなくなる」という事実は、心理的な部分を含め安全性を高めてくれます。
主なメリットとデメリットをまとめると以下のようになります。
| 性能 | 利用・運用 | コスト | セキュリティ | 外部依存 | |
|---|---|---|---|---|---|
| クラウドLLM | 高い | 手軽 | 従量課金 | 外部送信必須 | とても大きい |
| ローカルLLM | まちまち | 高コスト | 初期投資が必要 | ローカルに閉じることが可能 | 少ない |
銀の弾丸が存在しないように、クラウド LLM/ローカル LLM においてもいい点、悪い点が存在しています。 どちらか一方に固執するのではなく、両者のいいとこ取りをできるような使い分け、それが可能となるような環境の準備ができると良いのではないかと思います。
弁護士ドットコム内でのローカル LLM 導入状況
ここで弁護士ドットコムにおけるローカル LLM の導入状況をお話しします。
弊社では GitHub Copilot（VS Code）、Gemini（Browser）、Cursor など、さまざまな生成 AI ツールの導入を推進しています。 しかし、ローカル LLM に関する利用・調査などは、あまり話題になっていないようでした。
社内では、Cursor や Claude Code などを通したクラウド LLM の利用が主流となっています。 ローカル LLM を愛用しているという人や、試したことを共有し合える人とはまだ出会えていません。
ですが、弊社では全社的に LiteLLM Proxy が導入されています。 LiteLLM はクラウド LLM への通信を一元管理できますが、ローカル LLM やセルフホスト環境で動作する LLM に対して通信を繋げられるようにする設定も可能です。 そのため、LiteLLM が運用されていることによって、ローカル LLM をより多くの社員に手軽に利用してもらうことができると密かに目論んでいます。
弊社の LiteLLM 運用については、Advent Calendar 2025 の 10 日目の記事でも触れられているため、LiteLLM に興味のある方はぜひご一読ください。
このように LLM 自体を導入する環境や風土はとても整っており、今後、私がローカル LLM の利点や使い所などを積極的に発信していくことで、ローカル LLM を愛用する同志を増やしていければよいなと考えています。
現在の私は、個人の開発端末（MacBook Pro M2）に LMStudio を導入し、VS Code + Continue によってローカル LLM を利用しています。 まだまだ業務経験が浅いため、これにどれほどの価値があるか、どのように使うと価値を引き出せるのか、といったことを検証していく必要があると思っております。
私個人の取り組み
ここからは会社の開発から一歩離れ、プライベートにおける開発の話をさせていただきます。
私は「エンジニアはホームラボを持て」推進派閥なのですが、その一環として、世界最小の AI スーパーコンピューターと題された NVIDIA DGX Spark *1 を購入しました。 （新卒にとってはとんでもなく大きな買い物でした……）
会社のデータは利用せずあくまでも個人開発の範疇で、ローカル LLM のコーディング性能分析、ファインチューニングの検証など、 会社の開発とローカル LLM コミュニティのどちらにも活かせるような、さまざまな検証をおこなっていければと思っています。
現状は届いたばかりで本格運用には至っていませんが、得られた検証結果はこのブログも含め、多方面に発信していく予定です。
まとめ
本記事ではローカル LLM の紹介と、LM Studio を利用した簡単な導入、メリットデメリットをお伝えさせていただきました。
実務的な利用で言うと、現状では私が配属されてから日が浅いこともあり、ローカル LLM の真価というのは見定めかねている状況です。 これからも検証を続け、どのような利用が可能か、クラウド LLM とローカル LLM をどう使い分けるかのバランス感を見極められればと思います。
みなさまもぜひ一度ローカル LLM を試し、さまざまな感想を持って、最新技術の現在地を感じ取ってみてください。
*1:NVIDIA公式の紹介ページ : https://www.nvidia.com/ja-jp/products/workstations/dgx-spark/
