Mixture of Experts (MoE) - Experten Mix.

Eine Machine-Learning-Architektur, bei der mehrere spezialisierte Teilnetzwerke ("Experten") trainiert werden und ein Steuerungsmechanismus jede Eingabe nur an die jeweils relevantesten Experten weiterleitet.

Mixture of Experts (MoE) ist eine Architektur neuronaler Netze, die die Kapazität eines Modells deutlich erhöht, ohne den Rechenaufwand im gleichen Maß zu steigern. Statt für jede Aufgabe das gesamte Netzwerk zu aktivieren, leitet MoE Eingaben an eine ausgewählte Anzahl von "Experten"-Schichten weiter, die auf bestimmte Datentypen oder Anfragen spezialisiert sind. Diese selektive Aktivierung ermöglicht große, leistungsfähige Modelle, die schneller und günstiger laufen als klassische dichte Modelle.