Provider und Modelle
Cloud-Modelle zusätzlich zum lokalen Modell anbieten, Nutzungslimits festlegen und Zugriffe nachvollziehen.
LOKI antwortet standardmäßig mit seinem eigenen Modell Loki, das auf der Appliance läuft. Unter Provider & Modelle können Administratoren zusätzlich Modelle von Cloud-Anbietern anbieten, etwa wenn für bestimmte Aufgaben ein größeres Modell gewünscht ist.
Daten verlassen das Unternehmen
Wählt jemand im Chat ein Cloud-Modell, gehen Fragen, Chatverlauf, Anhänge und die Inhalte, die LOKI aus Dokumenten, E-Mails oder Datenbanken heranzieht, an diesen Anbieter. Prüfen Sie vorher, ob das mit Ihren Datenschutz- und Vertragsregeln vereinbar ist, und legen Sie bei Bedarf Compliance-Richtlinien an.
Einen Provider anlegen
Ein Provider ist ein Zugang zu einem Cloud-Anbieter, mit einem oder mehreren Modellen.
Formular öffnen
Klicken Sie unter Provider & Modelle auf Neu anlegen.
Verbindung
- Typ: Anthropic, OpenAI, OpenAI-kompatibel, Google Gemini, Mistral AI, Cohere, Groq oder DeepSeek.
- Name (optional): Lassen Sie das Feld leer, vergibt LOKI einen Namen.
- API-Schlüssel: den Zugangsschlüssel, den Sie beim Anbieter erhalten. LOKI speichert ihn verschlüsselt und zeigt ihn nie wieder an. Beim Speichern prüft LOKI den Schlüssel direkt beim Anbieter.
- Endpoint-URL: nur für OpenAI-kompatibel nötig, die Adresse des Dienstes.
Nutzung (optional)
Legen Sie Nutzungslimits fest (siehe unten).
Modelle
Wählen Sie unter Modelle ein Modell aus der Vorschlagsliste (bei OpenAI-kompatibel als freie Eingabe), geben Sie ihm eine Bezeichnung, unter der es im Chat erscheint, und klicken Sie auf Hinzufügen. Wiederholen Sie das für weitere Modelle.
Speichern
Klicken Sie auf Speichern.
| Meldung | Bedeutung |
|---|---|
| „Der API-Schlüssel wurde abgelehnt.“ | Der Schlüssel ist falsch oder passt nicht zum gewählten Typ. |
| „Dieser API-Schlüssel ist bereits bei einem anderen Provider hinterlegt.“ | Jeder Schlüssel darf nur einmal verwendet werden. |
Wer sieht welche Modelle?
Alle Modelle aller Provider stehen allen Personen im Chat zur Auswahl, zusätzlich zum lokalen Modell. Eine Einschränkung auf bestimmte Gruppen gibt es nicht.
Nutzungslimits
Für jeden Provider können Sie unter Nutzung begrenzen, wie viele Tokens (Textbausteine) verbraucht werden dürfen. Das Limit gilt für alle Modelle des Providers und alle Personen zusammen.
- Schalten Sie Täglich, Wöchentlich und/oder Monatlich ein und tragen Sie jeweils einen Wert ein. 0 bedeutet kein Limit.
- Sind mehrere Limits gesetzt, greift das, welches zuerst erreicht ist.
- Ab 80 Prozent sehen die Personen im Chat einen Hinweis.
- Bei 100 Prozent wechselt der Chat automatisch zum lokalen Modell, bis das Limit wieder frei ist. Eine laufende Antwort endet am Limit, statt es zu überziehen.
Ein Balken zeigt bei jedem Limit den aktuellen Verbrauch. Auch in der Liste öffnet ein Klick auf den Namen eines Providers seine Modelle und den Verbrauch.
Limits pro Person oder pro Gruppe gibt es nicht. Das lokale Modell hat kein Limit.
Zugriffe auf externe Modelle nachvollziehen
Unter Provider & Modelle › Externer Zugriff listet LOKI die Anfragen, die an ein Cloud-Modell gingen: Zeitpunkt, Benutzer, Modell und die Zahl der Tokens. Inhalte zeigt die Liste nicht. Mit Suche und Filtern nach Datum, Benutzer und Modell finden Sie einzelne Einträge.
Provider bearbeiten und löschen
Der Stift in der Liste öffnet das Formular. Lassen Sie API-Schlüssel leer, bleibt der gespeicherte Schlüssel. Mit dem Papierkorb löschen Sie einen Provider; seine Modelle verschwinden dann aus dem Chat. Das lässt sich nicht rückgängig machen.