Prompts auch nach Abschluss nachvollziehen [Feature-Wunsch]

[Paul Bumann]

Moin zusammen,

um besser nachvollziehen zu können, welcher Prompt zu welcher smap geführt hat, würde ich gerne nach der Generierung einer smap den Prompt wieder einsehen können. Auf dem Weg könnte ich smaps, die ich mit demselben Prompt oder auch einem veränderten Prompt erstelle, besser vergleichen und mehr Rückschlüsse ziehen, worauf man als Creator bei smap-Prompting achten sollte.

Gibt's dafür schon eine Möglichkeit, die ich nicht kenne?
Falls nicht: Ich würd mir eine wünschen 🥹

[Paul Bumann]

Zur Sicherheit erwähne ich schon mal @HK alias Holger 😉

[HK alias Holger]

Es gibt die Historie. Dort sind schonmal alle prompts vorhanden. Ich denke das lässt sich erweitern, das diese Anforderung befriedigt werden kann. Fehlt ja eigentlich nur der smap Name und die Möglichkeit die smap zum prompt zu öffnen. Würde das ausreichen?

[Bülent Erbas]

Aber vermutlich wird der gleiche Prompt nicht das gleiche Ergebnis ausgeben, richtig?

Ich hatte eine ähnliche Frage aber aus einer anderen Ausgangssituation heraus.

 

Bearbeitet 20. März von Bülent Erbas

[HK alias Holger]

das stimmt. LLM's sind nicht deterministisch. D.h. der gleiche Prompt wird nicht immer zu gleichen Ergebnis führen, jedoch kann man die Qualität und Komplexität der Ausgabe durchaus mit dem Prompting beeinflussen.
 

[Bülent Erbas]

Das schon.. cool wäre natürlich , sowie bei ChatGPT, Bezug auf das vorherige Ergebnis zu nehmen. Qualitative Bewertung durch "Daumen hoch" bzw "Daumen runter".

[HK alias Holger]

Wenn der generierte Output wieder für das Training eines Modells verwendet werden würde, könnte man über eine Bewertung ein Model verbessern. Jedoch ist das hier ja nicht der Fall. Oder wofür sollte die Bewertung gut sein bzw. welchen Zweck soll diese erfüllen?

[Bülent Erbas]

Genau für den Fall wie du es oben beschrieben hast. Der Output wird durch eine positive Bewertung wieder für das Training verwendet und verbessert so die Qualität.

Da das hier leider nicht möglich ist, hat ein Bewertungssystem natürlich keine Relevanz.