LiteLLM w OpenClaw — brama do 100+ dostawcow AI

Czym jest LiteLLM?

LiteLLM to open-source'owa brama (gateway) dla modeli jezykowych, ktora zapewnia ujednolicone API do ponad 100 dostawcow modeli. Umozliwia scentralizowane sledzenie kosztow, routing modeli i elastyczne przelaczanie backendow — bez koniecznosci modyfikowania konfiguracji OpenClaw przy kazdej zmianie dostawcy.

Metody konfiguracji

Przez kreatora

openclaw onboard --auth-choice litellm-api-key

Reczna instalacja

1. Zainstaluj i uruchom LiteLLM Proxy (np. z modelem Claude Opus 4.6)
2. Ustaw zmienna srodowiskowa z kluczem API:

   export LITELLM_API_KEY="sk-litellm-key"

3. Uruchom OpenClaw — automatycznie bedzie routowac zapytania przez LiteLLM

Konfiguracja w pliku

{
  env: { LITELLM_API_KEY: "sk-litellm-key" },
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        api: "openai-completions",
        models: [
          {
            id: "claude-opus-4-6",
            name: "Claude Opus 4.6 (LiteLLM)",
            contextWindow: 200000,
            maxTokens: 64000,
            reasoning: true
          },
          {
            id: "gpt-4o",
            name: "GPT-4o (LiteLLM)",
            contextWindow: 128000,
            maxTokens: 8000
          }
        ]
      }
    }
  },
  agents: {
    defaults: {
      model: { primary: "litellm/claude-opus-4-6" }
    }
  }
}

Klucze wirtualne z kontrola budzetu

LiteLLM pozwala generowac dedykowane klucze wirtualne z limitami wydatkow. Jest to szczegolnie przydatne w zespolach, gdzie kazdy uzytkownik lub projekt ma wlasny budzet:

# Przyklad: utworz klucz z limitem $50/miesiac
curl -X POST http://localhost:4000/key/generate \
  -H "Authorization: Bearer sk-master-key" \
  -H "Content-Type: application/json" \
  -d '{
    "max_budget": 50,
    "budget_duration": "monthly",
    "models": ["claude-opus-4-6", "gpt-4o"]
  }'

Monitorowanie zuzycia

LiteLLM udostepnia dashboard i logi wydatkow, ktore mozna przegladac za pomoca endpointow API z uwierzytelnianiem glownym (master key). Dzieki temu masz pelna kontrole nad kosztami wszystkich agentow.

Zalety korzystania z LiteLLM

• Centralne zarzadzanie — jeden punkt konfiguracji dla wszystkich dostawcow AI.
• Sledzenie kosztow — wbudowane monitorowanie wydatkow na modele.
• Kontrola budzetu — mozliwosc ustawiania limitow wydatkow per klucz/projekt.
• Routing modeli — inteligentne przekierowanie zapytan do roznych dostawcow.
• Load balancing — rownowazenie obciazenia miedzy wieloma instancjami.
• Failover — automatyczne przejscie na zapasowego dostawce przy awarii.

Ograniczenia

Funkcje ekskluzywne dla OpenAI nie dzialaja przez LiteLLM:

• Brak service_tier (przetwarzanie priorytetowe)
• Brak store w Response API (przechowywanie odpowiedzi)
• Brak cache promptow (prompt caching)
• Brak niestandardowych naglowkow atrybuacji

Kiedy uzywac LiteLLM?

• Zespoly — gdy wielu uzytkownikow korzysta z roznych modeli i potrzebujesz centralnej kontroli kosztow.
• Produkcja — gdy potrzebujesz load balancingu i failover miedzy dostawcami.
• Audyt — gdy musisz sledzic i raportowac zuzycie modeli AI.
• Migracje — gdy planujesz zmiane dostawcy i chcesz to zrobic bez modyfikacji konfiguracji agentow.