Девять лет назад исследователи Google представили архитектуру трансформеров. Она стала основой для крупных современных больших языковых моделей, или LLM. Но по мере роста моделей трансформеры сталкиваются с ограничениями. Их плотный механизм внимания требует все больше вычислительных ресурсов при работе с длинным текстом. (source)
Поэтому исследователи и разработчики проверяют несколько подходов, которые могут сделать ИИ быстрее и экономичнее. Для пользователя это означает более быструю работу с документами, меньшие требования к оборудованию и больше возможностей для локального запуска.
Почему длинный контекст становится проблемой
Механизм внимания можно представить как постоянную проверку связей между всеми важными фрагментами текста. Чем больше такой текст, тем больше сравнений приходится выполнять модели. В результате обработка длинного контекста требует больше памяти, времени и вычислительной мощности.
Это особенно заметно, когда вы просите ИИ проанализировать большой документ, несколько файлов или длинный диалог. Модель может отвечать медленнее, а стоимость обработки запроса может расти.
Четыре подхода к более эффективному ИИ
Новые решения не обязательно полностью отказываются от трансформеров. Часть из них заменяет отдельные компоненты, а часть оптимизирует уже знакомый механизм внимания.
1. Гибридные модели соединяют память и внимание
Гибридные архитектуры объединяют трансформер с пространственно-состояниевыми моделями, или SSM. Если механизм внимания помогает сопоставлять отдельные фрагменты, то SSM напоминают компактную рабочую память, которая последовательно переносит информацию дальше.
Такой подход призван уменьшить нагрузку при работе с длинными последовательностями, сохранив возможность точечно обращаться к важным частям контекста. Один из примеров, Jamba, сочетает Mamba и Transformer и заявляет поддержку контекста примерно до 256K токенов. Это пример инженерного направления, а не гарантия одинакового результата для всех моделей.
В работе S4 на отдельных задачах с очень длинным контекстом ускорение генерации доходило примерно до 60 раз по сравнению с ранними базовыми моделями. Такой результат относится к конкретным условиям эксперимента, поэтому его нельзя переносить на любой запрос.
2. Смесь экспертов включает только нужные блоки
В модели Mixture-of-Experts, или MoE, не вся нейросеть работает над каждым запросом. Специальный маршрутизатор выбирает несколько подходящих экспертных блоков, поэтому остальные в этот момент не активируются.
Это позволяет увеличивать общее число параметров без такого же роста вычислений для каждого запроса. В экспериментах Switch Transformer отдельные конфигурации MoE давали ускорение предварительного обучения примерно в 4–7 раз. Но у этого подхода есть обратная сторона: для распределения запросов между экспертами нужны сложная инфраструктура и быстрая связь между вычислительными узлами.
3. Линейные и рекуррентные модели сокращают нагрузку на память
Линейные и рекуррентные архитектуры, включая RWKV, обрабатывают последовательность иначе, чем плотное внимание. Они поддерживают компактное внутреннее состояние, поэтому потребление памяти может быть более предсказуемым при увеличении длины текста.
Это особенно интересно для локального запуска на ноутбуках и других устройствах с ограниченными ресурсами. В исследовании VisualRWKV для мультимодального сценария сообщалось об ускорении примерно в 3,98 раза и сокращении использования памяти GPU примерно на 54 процента. Эти показатели относятся к конкретной реализации и условиям тестирования.
4. Оптимизация внимания ускоряет уже существующие модели
Не всякая экономия ресурсов требует новой архитектуры. FlashAttention меняет способ выполнения вычислений механизма внимания, чтобы эффективнее использовать память видеокарты. Для самой модели это означает более быстрый расчет без перехода к приближенному вниманию.
В обзорах для узла внимания часто приводится ускорение примерно в 2–4 раза и заметное сокращение пикового использования видеопамяти. На практике результат зависит от модели, длины контекста и оборудования. Зато такой подход можно применять к трансформерам без полного переобучения архитектуры.
Что это меняет в инструментах, которыми вы пользуетесь
Ответы на длинные запросы могут стать быстрее. Новые способы обработки последовательностей уменьшают нагрузку на вычисления и память. Это особенно полезно при работе с отчетами, кодом и большими наборами документов.
Локальный ИИ становится практичнее. Более экономичные модели могут снизить требования к видеопамяти и помочь запускать часть задач непосредственно на компьютере, не отправляя конфиденциальные данные в облако.
Большой контекст не отменяет проверки качества. Даже если модель технически принимает очень длинный текст, нужно оценивать стоимость инференса, время обработки, качество поиска нужного фрагмента и риск того, что модель упустит важную деталь среди большого объема информации.
Как принимать решения уже сейчас
Индустрия все еще проверяет, какие архитектуры лучше подходят для разных задач. Поэтому не стоит выбирать оборудование только по обещаниям новой технологии.
Если вы планируете покупку, ориентируйтесь на модели, доступные вам сегодня, объем видеопамяти, поддерживаемые форматы и измеренную задержку ответа. Сравнивайте результаты на собственных задачах: например, на длинном документе или типичном фрагменте кода. Архитектуры MoE, SSM и другие новые подходы можно отслеживать отдельно, чтобы понимать, когда их преимущества действительно подтверждаются тестами.
Главный практический вывод прост: будущее ИИ связано не только с увеличением числа параметров. Более эффективные способы обработки информации могут сделать помощников и исследовательские инструменты быстрее, доступнее и удобнее для повседневной работы. Подробнее: Microsoft запускает новые ИИ-модели. Теперь ваши бизнес-задачи станут дешевле и быстрее.
