Mixture of Experts

"Mixture of Experts (MoE) ist eine Architektur für große KI-Modelle. Statt immer das komplette Modell zu nutzen, werden pro Eingabe nur die passenden „Experten“ aktiviert. Das kann Rechenkosten senken und gleichzeitig hohe Modellkapazität ermöglichen. Typisch ist der Ansatz bei großen Sprachmodellen, wenn Skalierung und Effizienz gleichzeitig wichtig sind."