【LiteLLM】入門する

LiteLLMとは？

LiteLLM は、複数の LLM (Large Language Model) API を 統一的なエンドポイント で利用できる軽量プロキシです。OpenAI、Anthropic、Google Gemini、Mistral など、さまざまな LLM プロバイダーの API を統合し、単一の API エンドポイントで管理できるのが特徴です。

• 異なる LLM API を共通のインターフェースで使える
• フェイルオーバーやロードバランシングが可能
• ローカル実行可能で、環境に依存せず柔軟に運用できる

github.com

LiteLLMの特徴

• 異なる API の統合
  • gpt-4 や claude-3 など、異なる API を統一エンドポイントで呼び出せる
• フェイルオーバー & ロードバランシング
  • API の障害時には、自動で別の LLM に切り替え
  • 負荷分散にも対応
• コスト最適化
  • 最安の API に自動でリクエストを振り分けることでコスト削減
  • API トークン管理の簡素化
• config.yaml に API キーをまとめて管理可能
  • セルフホストでプライベート環境でも利用可能
• クラウドに依存せず、ローカル環境 でも動作する

動かしてみる

github.com

ここのサンプルを使えばすぐに動かせます。OpenAIのキーを発行しておいてconfigを設定するだけでProxy経由でAIと接続が可能となります。