Destillation

Destillation Definition

Destillation, auch Wissensdestillation oder Modelldestillation genannt, ist ein Verfahren des maschinellen Lernens, bei dem ein kleineres Modell das Verhalten und Wissen eines größeren, bereits trainierten Modells nachahmt. Das große Modell wird als Lehrermodell bezeichnet, das kleinere als Schülermodell.

Ziel ist es, einen wesentlichen Teil der Leistungsfähigkeit des Lehrermodells in ein kompakteres Modell zu übertragen. Das Schülermodell lernt dabei nicht nur aus den ursprünglichen Trainingsdaten, sondern auch aus den Ausgaben des Lehrermodells. Diese enthalten häufig zusätzliche Informationen über Wahrscheinlichkeiten, Ähnlichkeiten und Entscheidungsgrenzen.

Funktionsweise

Bei der Destillation erzeugt das Lehrermodell sogenannte weiche Zielwerte, beispielsweise eine Wahrscheinlichkeitsverteilung über mögliche Antworten oder Klassen. Das Schülermodell wird darauf trainiert, diese Verteilung möglichst genau nachzubilden. Häufig werden die weichen Zielwerte mit den tatsächlichen Trainingslabels kombiniert.

Eine Temperatur kann die Wahrscheinlichkeitsverteilung glätten und dadurch sichtbar machen, welche alternativen Ergebnisse das Lehrermodell ebenfalls für plausibel hält. So erhält das Schülermodell mehr Lerninformationen als bei einer Ausbildung ausschließlich mit eindeutigen richtigen oder falschen Labels.

Vorteile

Destillierte Modelle benötigen meist weniger Parameter, Speicher und Rechenleistung. Dadurch können sie günstiger trainiert und betrieben werden, schneller Inferenzen liefern und auf weniger leistungsfähiger Hardware wie Mobiltelefonen oder Edge-Geräten eingesetzt werden.

Der Ansatz ist besonders relevant, wenn ein großes Modell hohe Qualität liefert, im produktiven Einsatz aber zu teuer, langsam oder ressourcenintensiv wäre. Destillation ermöglicht dann einen Kompromiss zwischen Modellqualität und Effizienz.

Abgrenzung zur Modellkompression

Destillation trainiert ein neues Schülermodell, das das Verhalten eines Lehrermodells übernimmt. Andere Formen der Modellkompression verändern dagegen häufig ein bestehendes Modell direkt, etwa durch Quantisierung, Pruning oder die Reduzierung der Bits pro Parameter.

Beide Ansätze können kombiniert werden. Ein destilliertes Modell kann anschließend zusätzlich quantisiert oder beschnitten werden, um Speicherbedarf und Rechenkosten weiter zu reduzieren.