この記事は弁護士ドットコム Advent Calendar 2025の 10 日目の記事です。
はじめに
こんにちは、弁護士ドットコム SRE 室の原口と申します。 なによりも F1 大好きなエンジニアです。
全力で、角田裕毅 選手を応援しています。
残念ながら 2026 年はレギュラーシートを確保できませんでした。
ファンとしては、準備期間の不足や公平性などに大きな疑問は持っていて、この決定はとてもとても残念です。
しかしながら、チームメイトで世界最高のドライバーと考えられているマックス・フェルスタッペンはタイトル争いを演じており1成績が見劣りするのは明らかで、結果がすべての厳しい世界であることを再認識させられました。
本人も「まだ終わってない」とおっしゃっているので、2027 年にはレギュラーシートに戻ってきてくれることを信じています。
i’m not finished yet.
— 角田裕毅/Yuki Tsunoda (@yukitsunoda07) 2025年12月3日
Finding out I won’t have a race seat in 2026 was incredibly tough, but I’m determined to work harder than ever with Red Bull as test and reserve driver to develop with the team, and prove I deserve a place on the grid. Life’s full of setbacks, and this is… pic.twitter.com/oVxeZF4qCf
頑張れ、角田裕毅！！！
本題へ・・・
さてすっかり脱線してしまいましたが、今回は 2025 年 8 月から社内で導入した、LiteLLM Proxy Server を実際に運用していくうえで大変だったことなどを紹介します。
LiteLLM 導入の経緯や、構築時の工夫などは SRE Magazine 010号（2025/10/01） に寄稿していますので、あわせてご覧ください。
LiteLLM Proxy Server とは
いろいろな生成 AI へのアクセスを、一元管理するためのプロキシサーバーです。
以下のような構成になっていて、LiteLLM 自体は AWS の ECS にセルフホスティングしています。
ECS にホスティングされた LiteLLM を経由して、各クラウドにデプロイされている生成 AI にアクセスします。
また Datadog にアクセスログを送信して、利用量をモニタリングしています。
運用で大変だった点
運用を始めてから、想像よりも大変だったことをまとめました。
モデルの追加は突然に
運用を始めてから、GPT 5.1 や Claude Sonnet 4.5、Haiku 4.5 など、さまざまな新しいモデルが次々とリリースされました。
その度に LiteLLM へ新モデルを追加する必要があります。追加作業はとても簡単でとくに困っていませんでした。
ですが、 みんなが本格的に使いだす前にモデルを追加する 点が大変でした。
後述しますが、新しいモデルの発表とともに Claude Code などのクライアントが、デフォルトで利用するモデルも最新のものに変わります。
環境変数などで指定していても、サブエージェントなどでは、最新のモデルが利用されてしまう可能性があります。
そのため、迅速に対応しないと利用時にエラーが発生したり、利用料金の計算が間違ってしまいます。
私は日頃から比較的朝早くから作業することが多く特段の早起きして作業したわけではないですが、設定を追加して動作確認するまでは、何かに追われながら作業しているような気分になっていました。
なおモデルの価格については、LiteLLM に価格情報を定期的に取得する新機能が追加されており、今後は気にしなくても良くなりそうです！
クライアントの更新も突然に
日進月歩の生成 AI の世界では、クライアントも頻繁に更新されます。
ほとんどの場合は問題なく利用できるのですが、まれに仕様が変わってしまって LiteLLM 経由で利用する際に追加の設定が必要になってしまうこともあります。
そうなった場合は、いち早く公式ページを確認したりして正常に動作するような設定を探し出す必要があります。
生成 AI が使えない作業などもはや考えられないエンジニアが私を含めてたくさんいます。
こちらの作業も時間との闘いで、プレッシャーに感じたりもしていました。
実際に運用を始めて時間が経過すると、 エンジニアの方が解決策を共有してくれる ので、肩肘張らずに運用できるような状況になっています。
使われるクライアントの種類増加も突然に
当初社内では、 Claude Code で利用することを想定していました。
しかし、運用を始めると Codex で利用したいと要望があり対応しました。
また Claude Code の CLI 版だけでなく VS Code 拡張機能からも利用したいなど、サービスイン当初は存在していなかったクライアントからの利用も考慮する必要に迫られました。
いろいろな生成 AI のクライアントに詳しくなると言うメリットもありつつ、そもそも動くのか不明な状況で対応するのは大変でした。
楽しかった点
運用を始めてみたら、楽しかった点もたくさんありました。
社内交流も突然に
LiteLLM の導入後、不具合や質問などがあった際に社内のいろんなメンバーと 交流できるのは非常に楽しく、勉強 になっています。
もともと存在しないはずのプロキシを利用するので、クライアントツールの設定方法などで工夫が必要になります。
また何かしらの原因でうまく動作しない場合は以下のようにたくさんの原因が考えられ、さまざまな観点から調査することになります。
- LiteLLM が原因の場合
- クライアントツールが原因の場合
- 利用者の環境が原因の場合
調査では、LiteLLM やクライアントツールのリポジトリの Issue やプルリクエストの検索なども必要になります。
弊社では、利用者のみなさんも進んで問題の対処に協力してくれたり、 回避策や設定などを共有してくれるので 、本当にありがたいと感じています。
OSS 貢献も突然に
LiteLLM は OSS で開発されており、GitHub でソースコードが公開されています。
Amazon Bedrock にリリースされた jp.anthropic.claude-haiku-4-5-20251001 の価格を追加する プルリクエストを提出して無事にマージ されました。
内容は簡単な設定を追加しただけなので、大きな声で「貢献した！」とは言えません。
しかし、はじめて OSS にプルリクエストをだしたので緊張するとともに Contributor License Agreement (CLA) の締結を経験できて、とても良い経験になりました。
今は技術的に貢献できるプルリクエストを提出できるように、絶賛ソースコードを勉強中です。
今後の展望
リリースの完全自動化
私は SRE。
トイル削減に力を入れていて、 当然 LiteLLM の運用を自動化 したいと考えています。
現在は、LiteLLM の更新や、モデルの追加などは手動で行っていますが、これらの作業を自動化したいと考えて作業を始めています。
目標は、 ステージング環境には全自動で適用し E2E テストが通ったら、本番環境に適用するプルリクエストを作成する。 としています。
まずは本番への適用は、最終的に人間がレビューしてマージする形にしたいと考えています。
もうちょっとで本番導入できそうな状態なのでもうひと頑張りします。
まとめ
LiteLLM を社内に導入してから約 4 ヶ月が経過しました。
セルフホスティングでサービスを提供するのは考えていたより大変です。
期待以上に利用されていてうれしく思ったり、なかなかうまく行かないことを試行錯誤しながら運用していく楽しさも感じています。
社内のいろんなメンバーと交流できたり、OSS に貢献できたりと楽しいことも多く、結果として導入してよかったと感じています。
最後に
弁護士ドットコムではいろいろなポジションのエンジニアを募集をしています。
ぜひ一緒に働いてみませんか。ご応募をお待ちしております。
私たち SRE 室もエンジニアを募集しています！
いろんなバックグラウンドを持つ私たちと、ぜひ一緒に働いてみませんか。ご応募をお待ちしております。 F1 好きは特に大歓迎です!
参考文献
- 本記事は、アブダビ GP 開催前の 2025/12/04 に執筆しており、タイトルの行く末はまだわかっていません。ノリスとフェルスタッペンのフェアな直接対決に期待しています。↩
