❋ 4.8
Исследователи из Института искусственного интеллекта и цифровых наук (Институт ИИиЦН) ФКН НИУ ВШЭ разработали новый метод сжатия больших языковых моделей, таких как GPT и LLaMA, который позволяет уменьшить их объем на 25–36% без дополнительного обучения и значительной потери в точности. Это первый подход, который использует математические преобразования — вращения весов модели, — чтобы сделать модели более удобными для сжатия с помощью структурированных матриц.
НИУ ВШЭ
# большие языковые модели
# искусственный интеллект
# память
# технологии
© ИИ-генерация GigaChat
Большие языковые модели, такие как ChatGPT и LLaMA, показывают впечатляющие результаты в генерации текста, переводе и других задачах, но их огромный размер делает их дорогими в использовании и хранении. Традиционные методы сжатия — уменьшение точности чисел, удаление лишних связей или упрощение структуры — часто требуют долгого дообучения модели и могут ухудшить ее работу. Ученые искали способ сократить объем модели быстро и без потери ее интеллекта.
