Leitfaden zur Modellanpassung
Anweisungen, Wissen oder Fine-Tuning?
Untersuchen Sie die Aufgabe, bevor Sie die Methode wählen. Eine fehlende Tatsache, eine unklare Anweisung und ein wiederkehrendes Verhaltensproblem erfordern unterschiedliche Experimente.
Wie wählen wir zwischen Anweisungen, angebundenem Wissen und Fine-Tuning?
Verbessern Sie Anweisungen, wenn die Aufgabe oder erwartete Antwort unklar ist. Binden Sie Wissen an, wenn das System bei einer Anfrage Geschäftsinformationen benötigt. Erwägen Sie Fine-Tuning, wenn trotz geeigneter Eingaben wiederkehrende Verhaltens- oder Leistungsdefizite bei der Aufgabe bestehen. Vergleichen Sie die Optionen anhand repräsentativer Fälle, bevor Sie sich festlegen.
Wählen Sie den ersten Test anhand des Fehlers.
Vorausgesetzt sind eine definierte Aufgabe, erlaubte Eingaben und Personen, die das Ergebnis beurteilen können. Wählen Sie mit diesen Zeilen ein Experiment aus und prüfen Sie anschließend seine Wirkung.
Der Antwort fehlt die gewünschte Struktur
Erster Test: Präzisieren Sie die Anweisungen und zeigen Sie passende Beispiele. Grenze: Anweisungen liefern keine fehlenden Geschäftsdaten.
Der Antwort fehlen aktuelle Geschäftsinformationen
Erster Test: Rufen Sie die relevanten freigegebenen Informationen ab. Grenze: Irrelevante, veraltete oder nicht zugängliche Quellen müssen weiterhin korrigiert werden.
Ein wiederkehrendes Verhalten bleibt ungeeignet
Erster Test: Evaluieren Sie Fine-Tuning mit repräsentativen Beispielen. Grenze: Auch eine Anpassung benötigt unabhängige Testfälle und einen geeigneten Ausgangsstand.
Der Prozess benötigt eine geschäftliche Aktion
Erster Test: Definieren Sie Tool, Workflow und Berechtigungsgrenze. Grenze: Ein Modelltraining erteilt keine Befugnis, Datensätze zu ändern.
Halten Sie beim Vergleich der Ansätze eine Aufgabe konstant.
Beispielaufgabe: Erstellen Sie einen Serviceantwortentwurf mit einer Zusammenfassung des Anliegens, einem Verweis auf die relevante Richtlinie und einem vorgeschlagenen nächsten Schritt. Eingaben sind eine Anfrage und die freigegebenen Servicehinweise. Eine Fachkraft prüft den Entwurf vor dem Versand.
Fehlt dem Entwurf das Feld für den nächsten Schritt, testen Sie klarere Anweisungen. Zitiert er die gestrige Richtlinie, prüfen Sie Wissensquelle und Abruf. Bleibt sein aufgabenspezifisches Verhalten trotz korrekter Informationen uneinheitlich, vergleichen Sie einen per Fine-Tuning angepassten Kandidaten mit dem bestehenden Ansatz.
Machen Sie den Vergleich fair und nützlich.
Verwenden Sie für alle Kandidaten dieselben repräsentativen Entwicklungsfälle und Prüfkriterien. Berücksichtigen Sie eine normale Anfrage, eine geänderte Richtlinie, fehlende Informationen und eine mehrdeutige Anfrage. Vergleichen und verfeinern Sie die Ansätze anhand dieser Fälle. Halten Sie einen getrennten abschließenden Testsatz zurück, der Training, Prompt-Änderungen und Kandidatenauswahl nicht beeinflusst, und bewerten Sie den gewählten Ansatz damit.
Dokumentieren Sie Modell-, Anweisungs-, Wissens- und Testversionen. Prüfen Sie Pflichtfelder, sachliche Belege und die vorgeschlagene Aktion. Vergleichen Sie neben der Qualität auch Antwortzeit, Ressourcenverbrauch und Prüfaufwand. Wiederholen Sie relevante Fälle, um Schwankungen zu verstehen.
Dokumentieren Sie die Entscheidung, die Ihre Nachweise stützen.
Beantworten Sie diese Leitfragen nach dem Vergleich. Eine konkrete offene Frage ist nützlicher als ein angenommener Vorteil.
- Beobachtetes Defizit: Welche Ausgaben schlagen fehl, und wie erkennen Prüfende den Fehler?
- Gewählte Änderung: Anweisungen, Wissen, Modellanpassung oder Workflow-Design?
- Nachweise: Welche Fälle wurden besser, welche nicht und was wurde schlechter?
- Betriebliche Wirkung: Was ändert sich an Kosten, Verzögerung, Wartung oder Prüfaufwand?
- Entscheidung: Fortfahren, den Ausgangsstand beibehalten oder einen konkret benannten weiteren Test ausführen?
Kombinieren Sie Ansätze, wenn die Aufgabe es erfordert.
Ein Modell kann an ein Antwortmuster angepasst werden und dennoch aktuelle Richtlinien abrufen. Halten Sie diese Zuständigkeiten getrennt, damit eine spätere Richtlinienänderung eine Wissensprüfung auslöst und eine Verhaltensänderung zur Prüfung von Modell oder Anweisungen führt.
Fragen und Antworten
Nein. Der Abruf liefert Informationen zur Anfrage. Fine-Tuning verändert ein vorhandenes Modell anhand von Beispielen. Beide Ansätze können gemeinsam verwendet werden.
Testen Sie Anweisungen, wenn die Aufgabendefinition das Problem ist. Fehlen erforderliche Informationen oder Systemzugriffe, beheben Sie diese Ursache direkt.
Ein Nachweis, dass das angepasste Modell die definierte Aufgabe ausreichend verbessert, um die betrieblichen und wartungsbezogenen Vor- und Nachteile zu rechtfertigen. Legen Sie die Abnahmekriterien für Ihre Arbeitslast fest.
Der Bedarf hängt von Modell, Methode und Aufgabe ab. Bewerten Sie Qualität und Abdeckung der Beispiele sowie Evaluierungsnachweise, statt eine allgemeingültige Anzahl zu übernehmen.