Eigenes Modell verwenden

Die Standardmodelle von Claira sind präzise, schnell und werden innerhalb der Datenresidenzgrenze Ihrer Bereitstellung betrieben. Für die meisten Teams sind sie alles, was sie brauchen. Eigenes Modell verwenden ist für die Teams gedacht, die etwas anderes benötigen: ein Modell, das Ihre Organisation bereits betreibt, oder ein Modell, das auf dem Rechner der sichtenden Person läuft.

Eigenes Modell verwenden hat zwei Zweige. Sie werden getrennt eingerichtet und eignen sich für unterschiedliche Situationen.

Beide Zweige sind für Modelle gedacht, die Sie betreiben. Keiner von beiden setzt ein für Claira trainiertes oder angepasstes Modell voraus — ein handelsübliches Modell mit offenen Gewichten, das über die OpenAI-Chat-Completions-API bereitgestellt wird, ist genau das, was sie erwarten.

Verbundenes Modell

Ein Modell-Endpunkt, den Ihre Organisation im öffentlichen Internet hostet. Sie verbinden ihn einmal je Fall; er erscheint dann unter dem von Ihnen vergebenen Namen in der Auswahl Modell, und Ihre Text-Scans — Einzelsichtungen, Live-Massen-Scans und Multi-Code — werden an Ihren Endpunkt statt an die Modelle von Claira gesendet. Alles andere an Ihrem Arbeitsablauf bleibt gleich: Ihre Prompts, Ihre verbundenen Felder, Ihre Ergebnisse und Ihre Abrechnung.

Bevor Sie beginnen

Ihr Endpunkt muss:

• Anfragen im OpenAI-Chat-Completions-Format entgegennehmen — die /v1/chat/completions-Anfrage, die die meisten Modellserver und Gateways sprechen, darunter vLLM, Ollama hinter einem Gateway, Azure OpenAI, OpenAI-kompatible Proxys und gehostete Inferenzanbieter.
• Aus dem Internet über HTTPS erreichbar sein, mit einem Zertifikat einer öffentlich vertrauenswürdigen Zertifizierungsstelle.
• Sich mit einem API-Schlüssel authentifizieren, den Claira als Bearer-Token sendet.

Läuft Ihr Modell on-premises, stellen Sie es hinter ein Gateway oder einen Reverse-Proxy, der es öffentlich über HTTPS bereitstellt. Die Server von Claira können private oder interne Adressen nicht erreichen. Die vollständige Liste finden Sie unter Grenzen dieser Version — und wenn das Modell auf dem Rechner der sichtenden Person statt auf einer gemeinsam genutzten Infrastruktur läuft, verwenden Sie stattdessen den lokalen Modus, der genau dafür gebaut ist.

Wo Sie es einrichten

1. Öffnen Sie Ihren Fall-Arbeitsbereich und wählen Sie den Bereich Claira.
2. Öffnen Sie das Menü Modi und wählen Sie Einstellungen.
3. Blättern Sie zum Abschnitt Eigenes Modell verwenden, direkt unter den Zugangsdaten für die Hintergrundverarbeitung.

Die Abschnittsüberschrift zeigt den Verbindungsstatus auf einen Blick:

• Nicht verbunden — für diesen Fall ist noch kein Endpunkt gespeichert.
• Verbunden — ein Endpunkt ist gespeichert und antwortet normal.
• Aufmerksamkeit erforderlich — ein Endpunkt ist gespeichert, aber neuere Anfragen sind fehlgeschlagen oder Ihr Schlüssel wurde abgelehnt. Siehe Fehler und Wiederherstellung.

Jedes Feld hat ein Infosymbol. Bewegen Sie den Mauszeiger darüber für eine kurze Erklärung und einen Link Mehr erfahren, der den passenden Abschnitt dieser Seite öffnet.

Was Sie brauchen

Anzeigename

Der Name, den Claira überall dort für Ihr Modell zeigt, wo ein Modell benannt wird: in der Auswahl Modell in den Einstellungen, im Bestätigungsdialog für Massen-Scans und im Bericht zum Verlauf der Massen-Aufgaben.

Wo Sie ihn finden: Sie wählen ihn selbst. Nehmen Sie einen Namen, den Ihre Sichtenden wiedererkennen, etwa Kanzleimodell Llama 70B oder Sichtungsmodell — EU-Cluster. Bis zu 80 Zeichen.

Endpunkt-URL

Die Basisadresse, an die Claira Anfragen sendet. Claira hängt für jeden Scan /chat/completions an und /models, wenn es die von Ihrem Endpunkt angebotenen Modellnamen abruft.

Wo Sie sie finden: in der Dokumentation Ihres Modellservers oder Gateways, üblicherweise als Basis-URL bezeichnet. Sie endet in der Regel auf /v1, zum Beispiel https://models.example.com/v1. Fügen Sie sie ohne abschließenden Schrägstrich und ohne /chat/completions am Ende ein.

So sieht ein guter Wert aus:

• Beginnt mit https:// — reines http:// wird abgelehnt.
• Verwendet einen öffentlichen Hostnamen. Private Netzwerkadressen (10.x, 192.168.x, 172.16–31.x), localhost, Link-Local- und Cloud-Metadaten-Adressen sowie *.internal-Hostnamen werden abgelehnt. Diese gehören zum lokalen Modus.
• Enthält weder Benutzernamen noch Passwort noch ein #fragment innerhalb der Adresse.
• Enthält keine Abfragezeichenfolge, mit einer Ausnahme: Azure OpenAI. Azure adressiert eine Bereitstellung als https://<resource>.openai.azure.com/openai/deployments/<deployment> und verlangt einen Parameter ?api-version=. Eine URL, die genau ?api-version=<Datum> und sonst nichts trägt, wird deshalb akzeptiert, und die Version wird mit jeder Anfrage gesendet. Jede andere Abfragezeichenfolge wird abgelehnt.

Modell-ID

Der genaue Modellname, den Ihr Endpunkt in jeder Anfrage erwartet. Claira sendet ihn als model-Wert.

Wo Sie sie finden: Unterstützt Ihr Endpunkt die Modellerkennung, listet Claira die verfügbaren Namen auf, nachdem Sie Verbindung testen ausgeführt haben — wählen Sie einen aus der Liste. Ist die Liste leer, bietet Ihr Endpunkt mehr als 200 Namen an oder möchten Sie den Namen lieber selbst eintippen, klicken Sie auf Manuell eingeben und tragen Sie die von Ihrem Anbieter dokumentierte Kennung ein (zum Beispiel meta-llama/Llama-3.3-70B-Instruct oder einen Azure-Bereitstellungsnamen).

API-Schlüssel

Das Geheimnis, das Ihr Endpunkt verlangt. Claira sendet es mit jeder Anfrage als Bearer-Token.

Wo Sie ihn finden: Erzeugen Sie ihn in der Konsole Ihres Anbieters oder Gateways. Verwenden Sie einen eigens für Claira bestimmten Schlüssel, damit Sie ihn rotieren oder widerrufen können, ohne andere Systeme anzufassen.

Wie Claira damit umgeht: Der Schlüssel ist ausschließlich beschreibbar. Nach dem Speichern zeigt das Feld •••• gespeichert — neuen Schlüssel eingeben, um ihn zu ersetzen, und niemand kann den Schlüssel wieder aus Claira auslesen. Er wird verschlüsselt gespeichert, nie in Protokolle geschrieben und ausschließlich an den von Ihnen konfigurierten Endpunkt gesendet. Um den Schlüssel zu rotieren, fügen Sie den neuen ein und klicken auf Testen und speichern. Der gespeicherte Schlüssel wird nur mit dem Endpunkt-Host wiederverwendet, für den er gespeichert wurde: Ändern Sie die Endpunkt-URL auf einen anderen Host, geben Sie vor dem Testen oder Speichern auch den Schlüssel dieses Endpunkts ein.

Gleichzeitige Anfragen

Wie viele Dokumente Claira während eines Massen-Scans gleichzeitig an Ihren Endpunkt senden darf.

So sieht ein guter Wert aus: Beginnen Sie bei 1, dem Standardwert. Nach einem erfolgreichen Verbindung testen misst Claira, wie viele parallele Anfragen Ihr Endpunkt mit stabiler Latenz durchhält, und bietet an, diesen Wert zu übernehmen — siehe Ihre Verbindung optimieren. Zulässiger Bereich: 1 bis 64.

Kontextfenster

Die größte Anfrage in Token, die Ihr Modell akzeptiert — Prompt, Dokument und Antwort zusammen.

Wo Sie es finden: in der Dokumentation Ihres Modells oder in den Startparametern Ihres Servers, oft context length oder max model length genannt. Tragen Sie den tatsächlichen Wert ein: Die Langkontext-Prüfung im Verbindungstest sendet eine Anfrage von etwa halber Größe, sodass ein zu hoch angesetzter Wert diese Prüfung scheitern lässt. Ihr Endpunkt entscheidet zur Scan-Zeit, ob ein Dokument hineinpasst; ein Dokument, das er als zu lang ablehnt, wird in den Scan-Ergebnissen als „Dokument zu groß“ gemeldet, welchen Wert Sie hier auch eintragen. Standard: 32.768 Token.

Max. Ausgabe-Token

Die längste Antwort in Token, um die Claira Ihr Modell bittet.

So sieht ein guter Wert aus: Der Standardwert von 8.192 passt für Zusammenfassungen und Kodierungs-Prompts. Senken Sie ihn, wenn Ihr Endpunkt Anfragen mit großer Ausgabe ablehnt; erhöhen Sie ihn nur, wenn Ihre Prompts wirklich sehr lange Antworten benötigen — etwa die vollständige Übersetzung eines langen Dokuments — und Ihr Modell das unterstützt.

Bestätigung zur Datenresidenz

Ein Kontrollkästchen, das Sie vor dem Speichern aktivieren müssen. Es bestätigt, dass Sie verstanden haben: Dokumenttext und Prompts, die an Ihr Modell gesendet werden, verlassen auf Ihre Anweisung die Bereitstellungsregion von Claira und gehen an den von Ihnen konfigurierten Endpunkt. Die Datenresidenz-Zusagen von Claira enden an diesem Endpunkt; was danach geschieht, richtet sich nach Ihrer Vereinbarung mit dessen Betreiber. Siehe Datenschutz und Sicherheit.

Die Verbindung testen

Zwei Schaltflächen führen die Prüfungen aus:

• Verbindung testen führt alle Prüfungen einschließlich der Kalibrierung aus, ohne etwas zu speichern. Nutzen Sie sie, während Sie das Formular noch ausfüllen, oder später, um Ihren Endpunkt erneut zu vermessen.
• Testen und speichern führt die schnellen Prüfungen aus — alles außer der Kalibrierung — und speichert die Verbindung, wenn sie bestanden werden. Die Schaltfläche bleibt deaktiviert, bis die erforderlichen Felder und die Bestätigung zur Datenresidenz ausgefüllt sind.

Jede Prüfung wird mit der Kennzeichnung OK, WARNUNG oder FEHLER, einem einzeiligen Ergebnis und einem Link Mehr erfahren aufgeführt.

Sie können den Verbindungstest bis zu 10-mal pro Stunde und Fall ausführen. Darüber hinaus wird der Test mit der Bitte abgelehnt, es später erneut zu versuchen — die gespeicherte Verbindung funktioniert normal weiter, diese Grenze gilt nur für das Ausführen des Tests selbst.

Der gesamte Test läuft innerhalb eines Zeitlimits von etwa zehn Minuten. Antwortet Ihr Endpunkt sehr langsam, werden die optionalen Prüfungen, die vor Ablauf des Limits nicht mehr beginnen konnten, als WARNUNG mit dem Hinweis übersprungen gekennzeichnet — die durchgeführten Prüfungen werden dennoch gemeldet, und eine Verbindung wird weiterhin gespeichert, wenn die erforderlichen Prüfungen bestanden werden. Die Prüfung Multi-Code wird nie auf diese Weise übersprungen: Sie läuft vor den optionalen Prüfungen, sodass ein langsamer Endpunkt Multi-Code nicht mehr ausgeschaltet lassen kann, ohne Ihnen den Grund zu nennen. Führen Sie Verbindung testen erneut aus, wenn der Endpunkt weniger ausgelastet ist, um das Bild zu vervollständigen.

Eine Verbindung wird gespeichert, wenn URL, Erreichbarkeit und Vervollständigung bestanden werden. Warnungen werden mit der Verbindung festgehalten, damit Sie später sehen können, welche Fähigkeiten warum ausgeschaltet wurden.

Ihre Verbindung optimieren

Beginnen Sie bei 1. Eine neue Verbindung sendet ein Dokument nach dem anderen. Das ist langsam, aber sicher: So lässt sich kein Endpunkt überlasten, und Sie können die Ergebnisse prüfen, bevor Sie hochskalieren.

Übernehmen Sie die Empfehlung. Stellt ein Lauf von Verbindung testen fest, dass Ihr Endpunkt mehr parallele Anfragen durchhält als Ihre aktuelle Einstellung, erscheint ein grünes Banner: Ihr Endpunkt hat N gleichzeitige Anfragen mit stabiler Latenz durchgehalten. Klicken Sie auf Empfehlung übernehmen (N), um Gleichzeitige Anfragen mit einem Klick auf diesen Wert zu setzen.

Der Regler für die Scan-Geschwindigkeit folgt Ihrer Einstellung. Während eines Live-Massen-Scans läuft der Regler Scan-Geschwindigkeit weiterhin von Am langsamsten bis Am schnellsten, seine Skala ist nun aber die Kapazität Ihrer Verbindung: Am schnellsten bedeutet die volle von Ihnen konfigurierte Anzahl gleichzeitiger Anfragen, und jede Stufe darunter sendet anteilig weniger. Ausgewogen (Standard) hält ein wenig in Reserve.

Wann Sie ihn erhöhen sollten: Der Zähler für fehlgeschlagene Dokumente bleibt bei null, die Ergebnisse treffen sauber ein, und Sie möchten, dass der Lauf früher fertig wird. Führen Sie zuerst erneut Verbindung testen aus, wenn sich Hardware oder Kontingent Ihres Endpunkts geändert haben.

Wann Sie ihn senken sollten: Dokumente schlagen mit „Ihr Modell-Endpunkt hat nicht geantwortet“ oder mit Zeitüberschreitungsfehlern fehl, oder das eigene Dashboard Ihres Endpunkts zeigt eine Sättigung. Claira schützt Ihren Endpunkt außerdem automatisch: Häufen sich Fehler, sendet Claira vorübergehend weniger parallele Anfragen als von Ihnen konfiguriert und kehrt zu Ihrer Einstellung zurück, sobald die Antworten wieder in Ordnung sind. Die Abschnittsüberschrift zeigt Aufmerksamkeit erforderlich, wenn die Verbindung Beeinträchtigt meldet — die meisten neueren Anfragen sind fehlgeschlagen — oder wenn Ihr Schlüssel abgelehnt wurde; eine mildere Fehlerrate verlangsamt den Lauf, ohne die Überschrift zu ändern. Der Zustand wird zwischen den Claira-Servern geteilt: Ein abgelehnter Schlüssel oder eine Serie von Fehlern, die irgendwo beobachtet wurde, erscheint bei jeder Aktualisierung, bis Ihr Endpunkt wieder erfolgreich antwortet (ein erfolgreiches Verbindung testen mit Ihrem gespeicherten Schlüssel zählt), und die Zustandszeile benennt das letzte Problem in klaren Worten — der Fehlercode selbst steht unter Diagnose anzeigen.

Was an Ihr Modell geleitet wird

Sobald Ihr Modell in der Auswahl Modell ausgewählt ist, gehen diese Vorgänge an Ihren Endpunkt:

• Einzelsichtungen — die Schaltfläche Dokument scannen im Prompt Lab und Multi-Code an einem einzelnen Dokument.
• Live-Massen-Scans — Massen-Aufgaben, die in Ihrem Browser-Tab laufen. Der Bestätigungsdialog zeigt eine Zeile Modell mit dem Namen Ihres Modells und darunter eine Warnung, falls die Verbindung derzeit Aufmerksamkeit erfordert.
• Multi-Code — jedes Feld eines Multi-Code-Durchlaufs, einzeln oder als Massen-Scan, sofern der Verbindungstest bestätigt hat, dass Ihr Modell wohlgeformtes JSON liefert.

Diese bleiben unabhängig von der Modellauswahl bei den regionsansässigen Modellen von Claira:

• Unterhaltungen im Agent Mode.
• Erzeugung und Überarbeitung von Insights.
• Entwurf und Aktualisierung des Fallkontexts aus dem Agent Mode.
• Vorschläge der Intelligenten Überarbeitung.
• Der Prompt-Generator.
• Automatische Titel für Massen-Aufgaben und Insights.

Diese Aufteilung ist beabsichtigt: Die Sichtung Ihrer Dokumente geht dorthin, wohin Sie sie leiten, während die Assistenzfunktionen von Claira weiterhin die Modelle nutzen, mit denen sie gebaut und getestet wurden. Möchten Sie auch diese Funktionen auf Ihrem eigenen Modell betreiben, ist das genau das, was der lokale Modus leistet.

Grenzen dieser Version

• Nur Text-Scans. Das Dropdown Scannen als ist auf Text beschränkt, solange Ihr Modell ausgewählt ist. Bild-, Audio-, Video- und Auto-Scans werden mit einer klaren Meldung abgelehnt — wechseln Sie für diese Dokumente zu einem Claira-Modell.
• Nur Live-Läufe. Massen-Scans auf Ihrem Modell laufen in Ihrem Browser-Tab; lassen Sie das Fenster geöffnet, bis die Aufgabe fertig ist. Die Hintergrundverarbeitung steht für Ihr Modell in dieser Version nicht zur Verfügung.
• Öffentlich erreichbarer HTTPS-Endpunkt mit einem Zertifikat einer öffentlichen Zertifizierungsstelle. Selbstsignierte Zertifikate und Zertifikate aus einer privaten CA werden nicht akzeptiert.
• Keine IP-Positivliste. Claira veröffentlicht in dieser Version keine festen ausgehenden Adressen, daher muss Ihr Endpunkt authentifizierte Anfragen aus dem Internet annehmen. Steuern Sie den Zugriff über den API-Schlüssel, nicht über eine Firewall-Regel.
• Keine privaten Adressen. Loopback-Adressen, private Netzwerkadressen, Link-Local-Adressen und interne Hostnamen werden abgelehnt. Verwenden Sie für ein Modell auf Ihrem eigenen Rechner den lokalen Modus.
• Eine Verbindung je Fall. Das Speichern eines neuen Endpunkts ersetzt den bisherigen für diesen Fall.
• Nur das OpenAI-Chat-Completions-Format. Endpunkte, die ein anderes Anfrageformat sprechen, benötigen ein kompatibles Gateway davor.

Fehler und Wiederherstellung

Fehler Ihres Endpunkts werden mit denselben Codes gemeldet wie andere Scan-Fehler — die vollständige Referenz finden Sie unter Fehlercodes. Die Situationen, die speziell Ihr eigenes Modell betreffen:

Ihr Endpunkt antwortet nicht. Dokumente schlagen mit der Meldung „Ihr Modell-Endpunkt hat nicht geantwortet“ fehl, und während eines Massen-Scans erscheint über den Live-Ergebnissen ein bernsteinfarbenes Banner, sobald mehrere Dokumente in Folge auf diese Weise fehlschlagen. Fehlgeschlagene Dokumente werden automatisch erstattet. Stoppt der Ausfall die Arbeitsprozesse, wird die Aufgabe als Unvollständig gekennzeichnet: Beheben Sie den Endpunkt oder seinen Netzwerkpfad, bestätigen Sie das mit Verbindung testen und klicken Sie dann in den Massen-Aufgaben auf Aufgabe fortsetzen — Dokumente, die bereits ein Ergebnis haben, werden nicht erneut gescannt und nicht erneut abgerechnet. Siehe Wenn ein Scan vorzeitig endet.

Ihr API-Schlüssel wurde abgelehnt. Claira stellt das Senden von Anfragen sofort ein, statt jedes verbleibende Dokument scheitern zu lassen; das Banner meldet, dass der Endpunkt den Schlüssel abgelehnt hat, und die Verbindung zeigt Aufmerksamkeit erforderlich. Fügen Sie einen gültigen Schlüssel in das Feld API-Schlüssel ein und klicken Sie auf Testen und speichern; die Verbindung ist bereinigt, sobald der neue Schlüssel geprüft ist, und Sie können die Aufgabe fortsetzen.

Ein Dokument ist zu groß für Ihr Modell. Das Dokument schlägt mit der Meldung „Dokument zu groß“ fehl. Prüfen Sie, ob das Kontextfenster zu Ihrem Modell passt, oder teilen Sie das Dokument auf.

Ein Scan wurde vor dem Start abgelehnt. Die Wahl eines Medien-Scans, eines Hintergrundlaufs oder eines Multi-Code-Laufs auf einer Verbindung, deren Multi-Code-Prüfung nicht bestanden wurde, wird mit einer Meldung abgelehnt, die den Grund nennt. Passen Sie den Lauf an oder wechseln Sie das Modell, und versuchen Sie es erneut.

Diagnose. Öffnen Sie im Abschnitt des verbundenen Modells Diagnose anzeigen, um die jüngsten Fehler Ihres Endpunkts zu sehen — Zeit, Fehlercode, Endpunktstatus und Latenz — zusammen mit dem aktuellen Zustand. Zeigen Sie diese Ansicht der Person, die Ihren Endpunkt betreibt, wenn Sie sie kontaktieren.

Die Verbindung widerrufen

Klicken Sie im Abschnitt des verbundenen Modells auf Widerrufen, um den Endpunkt vom Fall zu trennen. Claira verwendet den Endpunkt und seinen Schlüssel sofort nicht mehr. War die Auswahl Modell des Falls auf Ihr Modell gesetzt, stellen Sie sie auf ein Claira-Modell um — bis dahin werden neue Scans in diesem Fall mit der Meldung „Mit diesem Fall ist kein Modell verbunden“ abgelehnt, und ein bernsteinfarbener Hinweis unter der Auswahl erinnert Sie daran, ein Modell zu verbinden. Sie können denselben oder einen anderen Endpunkt jederzeit erneut verbinden; geben Sie den Schlüssel dabei erneut ein.

Lokaler Modus

Der lokale Modus betreibt Claira mit einem Modell auf Ihrem eigenen Rechner. Ihr Browser sendet jedes Dokument direkt an dieses Modell und liest die Antwort zurück. Für die Sichtung selbst verlässt der Dokumenttext Ihren Rechner nie — er geht weder an die Server von Claira noch an die von irgendjemand anderem.

Solange der lokale Modus aktiv ist, führen die Server von Claira für Sie in diesem Fall überhaupt keine Modellaufrufe aus. Weder an die eigenen Modelle von Claira noch an einen verbundenen Endpunkt. Jede Antwort, die Sie sehen, wird von Ihrem Modell in Ihrem Browser erzeugt.

Der lokale Modus gehört Ihnen und gilt je Fall. Ihn einzuschalten wirkt sich nur auf Ihre eigene Arbeit in diesem Fall aus; eine Kollegin oder ein Kollege im selben Fall nutzt weiterhin das, was die Auswahl Modell anzeigt. Das ist wichtig, denn ein Modell auf einem Rechner ist persönlich — niemandes Sichtung wird durch Ihre Wahl unterbrochen.

Was Sie auf Ihrem Rechner brauchen

• Einen Modellserver auf Ihrem Rechner oder in Ihrem Netzwerk — Ollama, LM Studio, vLLM oder llama.cpp. Siehe Unterstützte lokale Server.
• Ein geladenes Modell in diesem Server. Ein leistungsfähiges, instruktionsoptimiertes Modell liefert merklich bessere Sichtungsergebnisse als ein sehr kleines; was jede Funktion benötigt, finden Sie unter Was im lokalen Modus funktioniert.
• Den Server so konfiguriert, dass er Anfragen von Claira annimmt — eine Einstellung je Server, unten beschrieben.
• Die Berechtigung von Chrome, Ihr eigenes Netzwerk zu erreichen, einmalig erteilt. Siehe Die Browser-Berechtigung.

So schalten Sie ihn ein

1. Starten Sie Ihren Modellserver und laden Sie das Modell, das Sie verwenden möchten.
2. Öffnen Sie im Claira-Bereich die Einstellungen und suchen Sie Lokaler Modus, ganz oben im Abschnitt Eigenes Modell verwenden.
3. Schalten Sie den Schalter Lokaler Modus ein.
4. Klicken Sie auf Lokale Server suchen. Claira sucht auf den üblichen Ports — 11434, 1234, 8000 und 8080 — und listet auf, was antwortet. Antwortet nichts, klicken Sie auf Endpunkt manuell eingeben und tragen Sie die Adresse selbst ein.
5. Wählen Sie das Modell aus der Liste, die Ihr Server zurückgegeben hat, und geben Sie ihm einen Anzeigenamen — so nennt Claira es in der Auswahl, in der Anzeige und im Aufgabenverlauf. Tragen Sie nur dann einen API-Schlüssel (optional) ein, wenn Ihr lokaler Server einen verlangt.
6. Claira führt eine kurze Reihe von Prüfungen gegen das Modell aus und zeigt für jede eine Zeile OK, WARNUNG oder FEHLER: dass die Adresse erreichbar ist, dass das Modell einen Sichtungs-Prompt abschließt, ob es wohlgeformtes JSON für Multi-Code liefert, ob es den JSON-Ausgabemodus und Funktionsaufrufe unterstützt, ob es streamt und wie viel es gleichzeitig bewältigt.
7. Klicken Sie auf In diesem Browser bestätigen.

Claira bestätigt Der lokale Modus ist aktiv. Prüfungen in diesem Fall laufen jetzt auf <Ihr Modell> in diesem Browser., und von da an erscheint in der App-Leiste die Kennzeichnung Lokales Modell.

Ändern sich die Fähigkeiten Ihres Modells — Sie haben ein größeres Modell geladen oder sein Kontextfenster erhöht —, klicken Sie auf Fähigkeitsprüfungen erneut ausführen, um es erneut zu vermessen, ohne die Verbindung von Grund auf neu einzurichten.

Unterstützte lokale Server

Browser lassen eine Webseite nicht mit einem Server auf Ihrem eigenen Rechner sprechen, solange dieser Server nicht ausdrücklich erklärt, dass die Seite willkommen ist. Diese Einstellung heißt CORS, und jeder Server schreibt sie anders. In jedem Fall setzen Sie die Claira-Adresse auf die Positivliste — die Adresse, unter der Claira selbst läuft, etwa https://nuix-ca.claira.to — und nicht die Adresse Ihres Modells.

Jeder andere Server, der die OpenAI-Chat-Completions-API spricht, funktioniert ebenfalls — geben Sie seine Adresse manuell ein und konfigurieren Sie seine eigene CORS-Einstellung auf dieselbe Weise.

Die Browser-Berechtigung

Neuere Versionen von Chrome fragen nach, bevor sie eine Website auf einen Server auf Ihrem eigenen Rechner oder in Ihrem Netzwerk zugreifen lassen. Beim ersten Kontakt von Claira mit Ihrem Modell zeigt Chrome eine Berechtigungsabfrage für das lokale Netzwerk. Wählen Sie Zulassen. Claira kann Ihr Modell erst danach erreichen; verwerfen oder blockieren Sie die Abfrage, schlagen Scans mit der Meldung fehl, dass der Browser den Zugriff nicht erlaubt hat.

Um Ihre Antwort später zu ändern, öffnen Sie die Website-Einstellungen von Chrome für die Claira-Adresse und setzen dort die Berechtigung für das lokale Netzwerk.

Für die IT: die Berechtigung vorab erteilen. Administratoren können sie mit der Chrome-Richtlinie LocalNetworkAccessAllowedForUrls für alle erteilen. Setzen Sie sie auf den Ursprung des Claira-Frontends — die Adresse, unter der Claira ausgeliefert wird, etwa https://nuix-ca.claira.to — und nicht auf den Modell-Endpunkt. Die Richtlinie benennt die Seite, die die Anfrage stellt, nicht das Ziel. Die zugehörige Richtlinie LocalNetworkAccessBlockedForUrls verhindert, dass der lokale Modus funktioniert, wenn die Claira-Adresse dort aufgeführt ist.

Firefox und Safari haben keine entsprechende Sperre, dort erscheint also keine Abfrage.

Das Brückenfenster

Claira läuft als eingebettetes Panel innerhalb von Nuix Discover. Browser lassen ein eingebettetes Panel Ihr eigenes Netzwerk nicht erreichen, gleich wie Sie die Berechtigungsabfrage beantworten — die Einschränkung betrifft das Eingebettetsein, nicht die Berechtigung. Wenn nötig, öffnet Claira daher ein kleines separates Fenster unter der eigenen Adresse von Claira; dieses ist nicht eingebettet und darf deshalb mit Ihrem Modell sprechen. Jede Anfrage an Ihr Modell läuft durch dieses Fenster.

• Claira versucht zuerst den direkten Weg. In Browsern und Konfigurationen, in denen das Panel selbst Ihr Modell erreichen kann, wird kein Brückenfenster benötigt und keines geöffnet. Die Kennzeichnung Lokales Modell sagt Ihnen, welcher Weg genutzt wird.
• Öffnen Sie es über die Einstellungen oder die Kennzeichnung mit Brücke öffnen. Blockiert Ihr Browser das Pop-up, erlauben Sie Pop-ups für Claira oder nutzen Sie den Link, den Claira stattdessen anbietet.
• Lassen Sie es geöffnet, solange Claira arbeitet. Dort läuft Ihr Modell. Schließen Sie es, kann Claira Ihr Modell nicht mehr erreichen — die Kennzeichnung wird bernsteinfarben, und Claira blockiert neue Scans mit einem Hinweisfeld, das das erneute Öffnen anbietet, statt Dokument um Dokument scheitern zu lassen.
• Es ist ein einziges Fenster, das wiederverwendet wird. Ein erneuter Klick auf Brücke öffnen holt das bereits vorhandene Fenster in den Vordergrund.

Das Brückenfenster zeigt die verwendete Endpunkt-Adresse und das verwendete Modell, ob der Browser die Berechtigung für das lokale Netzwerk erteilt hat, ob Ihr Modell antwortet, wie viele Anfragen es bearbeitet hat, wie viele in Bearbeitung sind und den letzten Fehler, falls es einen gab. Es ist Ihr Beleg dafür, dass Ihr eigenes Modell die Arbeit erledigt.

„Bestätigen und starten“ kontaktiert Ihr Modell vor dem Speichern. Wenn Sie im Brückenfenster einen Endpunkt bestätigen, sendet Claira ihm aus diesem Fenster dieselbe Modelllisten-Anfrage wie ein Scan. Antwortet der Server nicht, lehnt er die Anfrage ab oder weist er Ihren Schlüssel zurück, nennt das Fenster den Grund — dieselbe Meldung, die ein Scan zeigen würde —, hält ihn unter Letzter Fehler fest und behält den bisherigen Endpunkt (oder keinen), bis Sie das Problem behoben haben. Während der Prüfung zeigt die Schaltfläche einen Wartezustand, und ein späterer Versuch beginnt von vorn: Ein Endpunkt, der nur noch nicht lief, lässt sich bestätigen, sobald er läuft.

Was das Brückenfenster tut und was nicht. Es kontaktiert ausschließlich den Endpunkt, den Sie in diesem Fenster bestätigt haben — eine Adresse, die von woanders eintrifft, wird ignoriert, und es prüft die Adresse bei jeder einzelnen Anfrage erneut. Es sendet nie Ihre Anmeldung bei Nuix oder Claira mit einer Anfrage an Ihr Modell. Ihr lokaler Schlüssel wird, falls Sie einen gesetzt haben, aus diesem Browser gelesen und ausschließlich an Ihr Modell gesendet.

Was im lokalen Modus funktioniert

Manche Funktionen laufen direkt auf Ihrem Modell, weil Ihr Browser bereits alles Nötige hat. Andere brauchen die Server von Claira, um die Anweisungen vorzubereiten — die Server von Claira bauen die Anfrage, Ihr Modell beantwortet sie in Ihrem Browser, und die Server von Claira werten die Antwort aus. So oder so: Das Denken geschieht auf Ihrem Rechner.

Läuft direkt auf Ihrem Modell

Läuft auf Ihrem Modell, wobei Claira die Anfrage vorbereitet

Jede dieser Funktionen benötigt etwas Bestimmtes von Ihrem Modell. Die Einrichtungsprüfungen sagen Ihnen vorab, ob Ihres das kann, und Claira sagt es klar, statt stillschweigend ein anderes Modell zu verwenden.

Während Ihr Modell arbeitet, wird der Fortschritt angezeigt — Ihr lokales Modell denkt nach…, Dokumente werden analysiert: 3 von 7, Ergebnisse werden zusammengeführt, Werkzeuge werden ausgeführt… —, weil ein lokales Modell merklich länger brauchen kann als ein Cloud-Modell.

Unberührt — kein Modell beteiligt

Das Prompt Lab, der Prompt-Verlauf, Pins und Kommentare, Prompt-Vorlagen, Field Migration, Felder erstellen, verbundene Felder, das Lesen, Bearbeiten und Freigeben des Fallkontexts, Daumen hoch und Daumen runter zu einer Antwort, Nutzung und Abrechnung, die Tarifverwaltung und Exporte verhalten sich alle genau wie immer.

Massen-Aufgaben und Chat-Verläufe erhalten weiterhin automatisch Namen — mit der beschreibenden Standardbenennung von Claira statt eines vom Modell geschriebenen Titels. Die Titel von Insights schreibt dagegen Ihr lokales Modell, wie oben aufgeführt.

Ausgeschaltet, solange der lokale Modus aktiv ist

Diese beiden sind die ganze Liste. Das Kontrollkästchen Als Aufgabe im Hintergrund ausführen und die Nicht-Text-Optionen von Scannen als erscheinen deaktiviert, jeweils mit einem kurzen Hinweis und einem Link Warum?, der zu diesem Abschnitt zurückführt, damit Sie nie rätseln müssen.

Die Abrechnung ändert sich nicht. Dokumente, die auf Ihrem lokalen Modell gescannt werden, verbrauchen dieselben Token je Dokument wie Dokumente auf den Modellen von Claira, Einzelsichtungen bleiben kostenlos, und fehlgeschlagene Dokumente werden auf dieselbe Weise erstattet.

Den lokalen Modus verlassen

Das Verlassen ist bewusst ein ausdrücklicher Schritt — Sie können nicht in einem Zustand landen, in dem kein Modell funktioniert.

1. Klicken Sie auf Lokalen Modus verlassen, entweder in der Kennzeichnung Lokales Modell, in den Einstellungen oder neben der gesperrten Modellzeile in den erweiterten Einstellungen.
2. Wählen Sie das von Claira gehostete Modell, das dieser Fall anschließend verwenden soll. Der Dialog schließt nicht ab, bevor Sie eines gewählt haben.
3. Klicken Sie auf Lokalen Modus ausschalten und wechseln.

Agent Mode, Insights, der Prompt-Generator, Hintergrund-Scans sowie Bild-, Audio- und Video-Scans stehen sofort wieder zur Verfügung, und Dokumente werden wieder an die Modelle von Claira gesendet.

Solange der lokale Modus aktiv ist, zeigt die Zeile Modell in den Erweiterten Einstellungen Ihr lokales Modell als gesperrten Wert mit dem Hinweis Der lokale Modus ist aktiv. Schalten Sie ihn aus, um ein von Claira gehostetes Modell zu wählen. Das ist so gewollt: Die Auswahl ist nicht defekt, sie ist absichtlich aus dem Weg geräumt, damit Ihre Sichtung nicht stillschweigend auf ein anderes Modell wandern kann. Das Ausschalten des lokalen Modus ist der einzige Weg, sie zu ändern, und die Schaltfläche dafür ist direkt dort.

Da der lokale Modus je Benutzer und je Fall gilt, wirkt sich das Verlassen in einem Fall weder auf einen anderen Fall aus, an dem Sie arbeiten, noch je auf eine Kollegin oder einen Kollegen.

Fehlerbehebung im lokalen Modus

„Auf den üblichen Ports hat kein lokaler Modellserver geantwortet.“ Ihr Server läuft nicht, oder er liegt auf einem anderen Port. Vergewissern Sie sich, dass der Server läuft — öffnen Sie seine eigene Adresse in einem Browser-Tab — und klicken Sie dann erneut auf Lokale Server suchen, oder geben Sie die Adresse manuell ein.

„Ihr lokales Modell antwortet nicht.“ Fast immer ist es die CORS-Einstellung. Prüfen Sie, ob Ihr Server die Claira-Adresse genau so auf der Positivliste führt, wie sie im Bereich Lokaler Modus angezeigt wird, einschließlich https:// und ohne abschließenden Schrägstrich, und starten Sie den Server nach der Änderung neu — die meisten Server lesen diese Einstellung nur beim Start. Läuft der Server auf einem anderen Rechner, vergewissern Sie sich, dass er im Netzwerk lauscht und nicht nur auf seiner eigenen Loopback-Adresse (in LM Studio ist das Serve on Local Network). Erscheint diese Meldung unter Bestätigen und starten im Brückenfenster, wurde nichts gespeichert — beheben Sie die Einstellung, starten Sie den Server neu und klicken Sie erneut auf Bestätigen und starten.

„Ihr Endpunkt hat geantwortet, aber dieser Browser hat das Speichern verweigert.“ Das Brückenfenster bewahrt den Endpunkt in den Website-Daten dieses Browsers auf, was ein privates bzw. Inkognito-Fenster — oder eine Sperre der Website-Daten für die Claira-Adresse — verhindert. Öffnen Sie die Brücke in einem normalen Fenster oder erlauben Sie Website-Daten für Claira, und klicken Sie dann erneut auf Bestätigen und starten.

„Ihr Browser hat Claira den Zugriff auf Ihr lokales Netzwerk nicht erlaubt.“ Wählen Sie Zulassen in der Abfrage von Chrome für das lokale Netzwerk, oder setzen Sie die Berechtigung in den Website-Einstellungen von Chrome für die Claira-Adresse zurück. Bitten Sie auf einem verwalteten Gerät Ihre IT, die Claira-Adresse zu LocalNetworkAccessAllowedForUrls hinzuzufügen — siehe Die Browser-Berechtigung.

„Das Brückenfenster ist geschlossen oder antwortet nicht.“ Klicken Sie auf Brücke öffnen und lassen Sie das Fenster geöffnet, solange Sie arbeiten. Hat Ihr Browser das Pop-up blockiert, erlauben Sie Pop-ups für Claira. Scans stoppen sauber, wenn die Brücke mitten im Lauf geschlossen wird: Beheben Sie das und klicken Sie in den Massen-Aufgaben auf Aufgabe fortsetzen — Dokumente, die bereits ein Ergebnis haben, werden nicht erneut gescannt und nicht erneut abgerechnet.

Multi-Code ist nicht verfügbar. Ihr Modell hat bei den Prüfungen kein wohlgeformtes JSON geliefert. Laden Sie ein leistungsfähigeres, instruktionsoptimiertes Modell, erhöhen Sie sein Ausgabelimit, falls es klein war, und klicken Sie auf Fähigkeitsprüfungen erneut ausführen. In der Zwischenzeit funktionieren Prompts für einzelne Felder normal.

Der Assistent sagt, er könne keine Scans starten oder den Fallkontext nicht bearbeiten. Ihr Modell unterstützt keine Funktionsaufrufe. Es kann weiterhin Fragen beantworten und Dinge erklären. Laden Sie ein Modell, das Werkzeugnutzung unterstützt, und klicken Sie auf Fähigkeitsprüfungen erneut ausführen — oder verlassen Sie für diese Arbeit den lokalen Modus.

„Dieses Dokument ist größer als das Kontextfenster Ihres lokalen Modells.“ Teilen Sie das Dokument mit Unitize auf oder laden Sie ein Modell mit größerem Fenster. Lokale Modelle haben meist deutlich kleinere Fenster als die Modelle von Claira.

Alles ist langsam. Das liegt an Ihrer Hardware, nicht an Claira. Senken Sie den Regler für die Scan-Geschwindigkeit, damit Ihr Rechner nicht überlastet wird, oder laden Sie ein kleineres und schnelleres Modell. Ein großer Massen-Scan auf einem Laptop im Akkubetrieb ist merklich langsamer als am Stromnetz.

Die Ergebnisse sind schlechter als auf einem Claira-Modell. Ein kleines lokales Modell ist tatsächlich weniger leistungsfähig. Testen Sie 10 bis 25 Dokumente mit der Einzelsichtung, bevor Sie sich auf einen großen Massen-Scan festlegen, und schärfen Sie Ihren Prompt nach — Definitionen, zulässige Werte, Ausgabeformat —, bevor Sie es dem Modell zuschreiben. Siehe Warum Sie nicht zweimal dieselbe Antwort erhalten.

Abrechnung

An keinem der beiden Zweige ändert sich etwas. Dokumente, die auf Ihrem Modell gescannt werden, verbrauchen dieselben Token je Dokument wie Dokumente auf den Modellen von Claira — Einzelsichtungen bleiben kostenlos —, und fehlgeschlagene Dokumente werden auf dieselbe Weise erstattet. Was Ihnen Ihr Endpunkt-Anbieter berechnet oder was der Betrieb Ihrer eigenen Hardware kostet, ist eine Sache zwischen Ihnen und dem jeweiligen Anbieter. Siehe Tarife und Abrechnung.

Verwandte Themen

• Modellauswahl
• Datenschutz und Sicherheit
• Fehlercodes
• Massen-Scan

Brauchen Sie Hilfe? Schreiben Sie uns an support@claira.to, um Ihren Bedarf an Modellintegration zu besprechen.