Groq w OpenClaw — ultraszybka inferencja LPU

Czym jest Groq?

Groq to dostawca inferencji AI oparty na wlasnych procesorach LPU (Language Processing Unit), zaprojektowanych specjalnie do przetwarzania modeli jezykowych. Dzieki unikalnemu sprzętowi, Groq oferuje ekstremalnie niska latencje i wysoka przepustowosc — idealne do zastosowan, gdzie szybkosc odpowiedzi jest kluczowa.

Identyfikacja dostawcy

• Identyfikator: groq
• Uwierzytelnianie: zmienna srodowiskowa GROQ_API_KEY
• API: kompatybilne z OpenAI

Konfiguracja krok po kroku

1. Uzyskaj klucz API — przejdz do console.groq.com/keys i wygeneruj nowy klucz.
2. Ustaw zmienna srodowiskowa:

   export GROQ_API_KEY="gsk_..."

3. Skonfiguruj model domyslny:

   {
     agents: {
       defaults: {
         model: { primary: "groq/llama-3.3-70b-versatile" }
       }
     }
   }

Kompletna konfiguracja

{
  env: { GROQ_API_KEY: "gsk_..." },
  agents: {
    defaults: {
      model: { primary: "groq/llama-3.3-70b-versatile" }
    }
  }
}

Obslugiwane modele

Groq oferuje kilka popularnych modeli open-source zoptymalizowanych pod katem szybkosci:

• Llama 3.3 70B Versatile — model ogolnego przeznaczenia z rozszerzonym oknem kontekstowym. Najlepszy wybor do wiekszosci zadan.
• Llama 3.1 8B Instant — zoptymalizowany pod katem szybkosci i minimalnych wymagan zasobow. Swietny do prostych zapytan.
• Gemma 2 9B — kompaktowa i wydajna alternatywa od Google.
• Mixtral 8x7B — architektura mixture-of-experts, dobra do rozumowania i analizy.

Pelna lista modeli dostepna jest przez komende:

openclaw models list | grep groq

Transkrypcja audio

Groq udostepnia szybka transkrypcje audio oparta na modelu Whisper. Konfiguracja:

{
  tools: {
    media: {
      audio: {
        enabled: true,
        models: [{
          provider: "groq",
          model: "whisper-large-v3-turbo"
        }]
      }
    }
  }
}

Usluga korzysta z endpointow kompatybilnych z OpenAI pod adresem https://api.groq.com/openai/v1. Dzieki procesorom LPU, transkrypcja jest znacznie szybsza niz u konkurencji.

Wazne uwagi

• Przy wdrozeniach daemonowych (launchd/systemd) upewnij sie, ze GROQ_API_KEY jest dostepny przez plik ~/.openclaw/.env lub konfiguracje env.shellEnv.
• Groq oferuje darmowy tier z limitem zapytan — idealny do testowania i prototypowania.
• Dla najnizszych opoznien, uzyj modelu Llama 3.1 8B Instant.
• Modele na Groq sa modelami open-source — mozesz je tez uruchomic lokalnie przez Ollama, ale Groq oferuje znacznie wyzsza szybkosc.