KI Glossar
Temperatur (Künstliche Intelligenz)
Kurz erklärt
"Ein Parameter in KI- und Sprachmodellen, der steuert, wie zufällig, kreativ oder vorhersehbar eine Ausgabe ausfällt."
"Temperatur, häufig auch LLM-Temperatur genannt, ist ein Steuerparameter in der Künstlichen Intelligenz, der die Zufälligkeit der Ausgabe beeinflusst. Sie spielt besonders bei großen Sprachmodellen eine Rolle, wenn aus mehreren möglichen nächsten Tokens eine Antwort generiert wird. Niedrige Temperaturen führen zu vorhersehbareren, sachlicheren und präziseren Antworten, weil das Modell stärker die wahrscheinlichsten Tokens auswählt. Höhere Temperaturen machen die Wahrscheinlichkeitsverteilung flacher und erhöhen die Chance auf kreativere, vielfältigere oder überraschendere Formulierungen, können aber auch Halluzinationen oder unpassende Ergebnisse begünstigen. Praktisch eignen sich niedrige Werte etwa für Programmierung, technische Beschreibungen und faktenorientierte Aufgaben, mittlere Werte für ausgewogene Ideenentwicklung und hohe Werte für exploratives Brainstorming. Mathematisch wird die Temperatur T meist auf die Logits vor der Softmax-Funktion angewendet: p_i(T)=exp(z_i/T)/Σ_j exp(z_j/T). Bei T=1 entspricht dies der normalen Softmax-Verteilung; T<1 konzentriert die Wahrscheinlichkeit auf die wahrscheinlichsten Tokens, T>1 verteilt sie breiter auf mehr mögliche Ausgaben."