Alibaba выпустила открытую ИИ-модель Qwen3.8-27B, которая запускается локально на ПК - «Новости сети»
Сегодня, 10:30. Автор: Arthurs
В начале августа китайская Alibaba представила обновлённую флагманскую модель искусственного интеллекта ✴, которая на минувшей неделе выпустила модель ✴ Muse Glimmer 30B, и не хуже, а то и лучше, чем вышедшая в феврале закрытая Anthropic Opus 4.6.
Это утверждение взялись проверить журналисты ресурса Heise. Оригинальная модель с 32-битными числами с плавающей запятой (FP32) требует значительных ресурсов: не менее 108 Гбайт видеопамяти и около 120 Гбайт дискового пространства для KV-кеша. Квантование модели до FP16 позволяет запускать её на оборудовании с 64 Гбайт видеопамяти, а ещё более компактный квантованный вариант Q5_K_M обходится уже 22 Гбайт памяти — его уже можно запускать на флагманских видеокартах AMD Radeon 7900 XTX и Nvidia GeForce RTX 3090 (Ti), 4090 и 5090. Доступен и вариант с весами NVFP4, оптимизированный для вычислительных блоков Nvidia Blackwell и работающий всего с 16 Гбайт памяти.
В рамках тестирования Qwen3.8-27B в вариантах Q8_0 и NVFP4 запустили в среде Llama.cpp на профессиональной видеокарте Nvidia RTX Pro 6000 Blackwell. Модели поставили задачу разработать полный комплект средств REST API для системы управления запасами с контролем пользователей и авторизацией на основе ролей, не задавая уточняющих вопросов. Квантованная версия NVFP4, которая потребляла вдвое меньше памяти, чем Q8_0, не показала заметного снижения точности или качества ответов.
Qwen3.8-27B написала качественный код — он скомпилировался с первой попытки и поддерживал все запрошенные функции. Качество проекта оказалось неотличимо от результатов работы Anthropic Claude. Модель от Alibaba учла особые аспекты, которые не были упомянуты в задании, в ходе работы находила дубликаты в собственном коде и самостоятельно проводила рефакторинг. Отмечалась некоторая склонность к чрезмерному обдумыванию простых проблем, модель несколько зацикливалась на деталях, в результате чего тратила лишние токены и время. Хотя такое поведение корректируется в настройках.
Запускающиеся на локальных ресурсах модели ИИ имеют преимущества перед облачными. Нет необходимости оформлять подписку и передавать персональные данные сторонним поставщикам. Отсутствуют ограничения, свойственные закрытым моделям Anthropic и OpenAI. Некоторые ограничения есть и у Qwen, но вскоре после выпуска оригинального варианта на Hugging Face появились производные версии, в которых эти ограничения были в значительной степени сняты.
Источники:
Перейти обратно к новости