Mixture-of-Experts

Архитектура нейронных сетей, использующая только необходимые блоки («экспертов») для обработки запросов, что позволяет масштабировать параметры.