Inferenz
Die Nutzung eines fertigen Modells für eine einzelne Anfrage – jede Antwort kostet erneut Rechenleistung.
Einfach erklärt
Inferenz ist die Berechnung einer Ausgabe mit einem trainierten KI-Modell. Dazu gehören etwa eine Textantwort, eine Bilderkennung oder ein erzeugtes Bild. Die Nutzung benötigt erneut Rechenleistung; sie ist vom vorausgehenden Training zu unterscheiden.
Der Aufwand hängt von Modell, Aufgabe, Eingabe, Ausgabe und eingesetzter Hardware ab. Längere Verarbeitung kann mehr Ressourcen beanspruchen. Ein pauschaler Vergleich „jedes Bild kostet mehr als jeder Text“ ist jedoch nicht verlässlich. Anbieter können zusätzliche interne Verarbeitungsschritte einsetzen, die du an der sichtbaren Antwort nicht erkennst.
Für die Nutzung erklärt das, warum Dienste Kontingente, Wartezeiten oder unterschiedliche Preise haben. Wähle eine zur Aufgabe passende Funktion und prüfe das Ergebnis, bevor du weitere ähnliche Anfragen stellst. Ein kleineres Modell kann für eine einfache Aufgabe genügen; ob es das tut, zeigt ein konkreter Vergleich.
Beispiel aus dem Alltag
„Was ist die Hauptstadt von Peru?" ist für den Anbieter fast gratis. „Fasse diese 80 Seiten zusammen" kostet ihn merklich Rechenzeit.
Häufige Fragen
Wird das Modell bei jeder Inferenz neu trainiert?
Normalerweise nicht. Es nutzt die vorhandenen Modellwerte und den bereitgestellten Kontext. Eine spätere Verwendung von Eingaben für Training ist eine gesonderte Frage.
Wovon hängen Kosten ab?
Unter anderem vom Modell, der verarbeiteten Datenmenge, zusätzlichen Werkzeugen und dem Tarif. Sichtbare Antwortlänge allein erklärt nicht jeden Preis.