Docs
Chat

Modelle und Nutzungslimits

Ein anderes KI-Modell wählen, den Cloud-Hinweis verstehen und das Kontingent im Blick behalten.

Die Antworten im Chat schreibt ein KI-Sprachmodell. Standardmäßig ist das Loki, das Modell, das auf der LOKI-Appliance in Ihrem Unternehmen läuft. Hat Ihr Administrator zusätzlich Modelle von Cloud-Anbietern eingebunden, können Sie im Chat zwischen ihnen wählen.

Ein Modell wählen

Steht Ihnen mehr als ein Modell zur Verfügung, sehen Sie im Eingabefeld eine Schaltfläche mit dem Namen des aktuellen Modells (Modell auswählen). Auf schmalen Bildschirmen zeigt sie nur das Logo des Anbieters. Gibt es nur ein Modell, fehlt die Schaltfläche.

  1. Klicken Sie auf die Schaltfläche.
  2. Suchen Sie ein Modell im Feld Modell suchen... oder wählen Sie es aus der Liste. Die Modelle sind nach Anbieter gruppiert.
  3. Ihre Wahl gilt ab der nächsten Frage, auch für Ihre anderen Chats.

Wechseln Sie mitten in einem Chat das Modell, zeigt der Verlauf an dieser Stelle eine Trennlinie „Gewechselt zu“ mit dem Namen des neuen Modells.

Nach dem Neuladen wieder Loki

LOKI speichert die Modellwahl nicht dauerhaft. Laden Sie die Seite neu, ist wieder das lokale Modell Loki ausgewählt.

Aufwand

Manche Modelle bieten zusätzlich den Bereich Aufwand mit den Stufen Schnell, Mittel (Standard) und Gründlich. Gründlicher bedeutet in der Regel bessere, aber langsamere Antworten. Die gewählte Stufe steht klein auf der Modell-Schaltfläche.

Cloud-Modelle

Wählen Sie ein Modell eines Cloud-Anbieters, leuchtet die Modell-Schaltfläche, und über dem Eingabefeld erscheint der Hinweis:

Cloud-Modell aktiv — Modellname. Deine Nachrichten und hochgeladenen Dokumente werden an einen externen Anbieter gesendet.

Das bedeutet: Ihre Fragen, der bisherige Chatverlauf, Ihre Anhänge und die Textstellen, die LOKI aus Ihren Dokumenten heranzieht, gehen an diesen Anbieter. Nutzen Sie ein Cloud-Modell nur, wenn das für die Inhalte Ihres Chats in Ordnung ist. Im Zweifel bleiben Sie beim lokalen Modell Loki.

Den Hinweis blenden Sie mit × aus. Er erscheint nach dem Neuladen wieder.

Compliance-Prüfung

Ihr Unternehmen kann Regeln festlegen, die vertrauliche Angaben wie Namen, E-Mail-Adressen oder Kontonummern erkennen, bevor sie LOKI verlassen, also bevor sie an ein Cloud-Modell oder an die Websuche gehen. Je nach Regel geschieht dann eines davon:

  • LOKI schwärzt automatisch. Ein Hinweis „Inhalte vor dem Senden geschwärzt“ zeigt, welche Arten von Angaben ersetzt wurden.
  • LOKI blockiert den Aufruf.
  • LOKI fragt Sie. Eine Karte „Compliance-Prüfung“ listet, was erkannt wurde, und bietet je nach Regel diese Möglichkeiten:
SchaltflächeWirkung
Lokal verarbeitenNichts wird gesendet; LOKI wechselt zum lokalen Modell.
Geschwärzt sendenDie erkannten Angaben werden ersetzt, der Rest wird gesendet.
Original sendenDer Inhalt wird unverändert gesendet.
Aufruf abbrechenNichts wird gesendet.

Ihre Entscheidung wird im Compliance-Protokoll festgehalten, das Administratoren einsehen können.

Nutzungslimits

Für Cloud-Anbieter kann Ihr Administrator ein Kontingent festlegen, gemessen in Tokens (Textbausteinen). Das Kontingent gilt für das ganze Unternehmen gemeinsam, nicht pro Person. Das lokale Modell Loki hat kein Limit.

Ist für den Anbieter des gewählten Modells ein Limit eingerichtet, zeigt das Eingabefeld neben der Modell-Schaltfläche Token-Verbrauch mit einer Prozentzahl. Die Farbe verrät den Stand: türkis heißt in Ordnung, gelb heißt bald erreicht, rot heißt aufgebraucht.

Klicken Sie darauf, um Details zu sehen: den Verbrauch für den Tag, die Woche und den Monat, das jeweils geltende Limit (Aktuelles Limit) und wann es zurückgesetzt wird.

StandWas passiert
ab 80 ProzentÜber dem Eingabefeld erscheint „Token-Kontingent (Zeitraum) ist fast aufgebraucht.“
100 ProzentBeim nächsten Senden wechselt LOKI automatisch zum lokalen Modell und nennt den Zeitpunkt, ab dem Cloud-Modelle wieder verfügbar sind. Eine Antwort, die das Limit erreicht, wird an dieser Stelle beendet.

Auf dieser Seite