The post has been translated automatically. Original language: Russian
Hugging Face's Transformers library is one of the most massive packages in the world of machine learning: almost all open models get into the application code through it, and its API has long been a common language for inference and advanced training. On September 9, 2026, version 5.17.0 was released. The release includes several new architectures, one incompatible change in the calculation of rotating positional embeddings for visual models, optimization of the generation cycle, and more than eight dozen fixes.
What was added from the models
The set of new architectures in this release is noticeably shifted towards multimodality and speech.:
- HYV4 is a language model based on a sparse mix of experts: 780 billion parameters in total and 49 billion activated per token, a million—token context window, multi-headed latent attention and sparse attention in the spirit of DeepSeek;
- KimiLinear is a hybrid architecture with linear Kimi Delta Attention, where the recurrent state has channel—by-channel forgetting gates.;
- NeoMME is a compact multimodal encoder with 260 and 800 million parameters that processes multilingual text and raw image fragments in a single bidirectional transformer, without a separate visual tower.;
- VibeVoice — synthesis of long polyphonic speech through the diffusion of the next token within the language model;
- Fun-ASR-Nano — speech recognition with 800 million parameters: Chinese, English and Japanese, seven Chinese dialects and twenty-six regional accents;
- Canary-1B-v2 is multilingual speech recognition and translation based on a combination of Fast Conformer encoder and transformer decoder.
Incompatible change: rotating embeddings have been combined into one module
The main thing is to read the release notes before updating. Two-dimensional and three-dimensional rotating positional embeddings for visual models used to be considered disparate: somewhere at the level of the attention layer, somewhere by the logic of alternating grid coordinates for a particular model. Now the frequency calculation is combined into a single common module. Those who have their own visual models based on the old piecemeal logic will have to switch to a centralized implementation — the old code will not remain silently correct.
Generation, cache, quantization, and kernels
In the generation cycle, the extra synchronization with the accelerator was removed at each decoding step — this is a net gain in time on long responses. We also corrected the unconditional access to the remote hub for files and checking the cache during autocompilation of encoder-decoder models.
By cache: the quantized cache in VibeVoice has been fixed, the unjustified rejection of non-static cache in real time has been removed, a clear error has been added instead of an incomprehensible drop when page-by-page attention is turned on without cache. Quantization: processing of FP8 embeddings in Qwen models, missing layer redefinitions with tensor parallelism, and unnecessary inverse transformation of MXFP4 weights on XPU accelerators. By cores: nested FLA imports are supported, a warning appeared during a silent rollback to the implementation from PyTorch, and registration of individual functions is allowed in the core configuration.
What does this mean in practice?
The minor number here is deceptive: the change in embeddings is breaking, and it hits exactly those who keep their own code, and do not pull the model as it is. The procedure is simple.
First, fix the version in the dependencies and update it in a separate step, rather than simultaneously with the application release. If the project has its own visual models or patches of attention layers, run them on the new version and compare the outputs with reference numbers, and not just the fact that "it didn't fall": import tests won't catch a quiet change in the geometry of positions.
Check the closed circuit separately. The edit about accessing the remote hub means that the behavior when uploading files has changed, and a stand without Internet access is the most honest way to make sure that the models are still being lifted from the local cache. Those who count on XPU or use FP8 and MXFP4 should re-measure both speed and quality: quantization edits affect both. And set aside time in advance for analysis if you have a long chain of your own cores — a warning about a silent rollback on PyTorch will surely reveal a couple of places where acceleration has not been for a long time, and you did not know about it.
The draft text was prepared with the participation of AI, the facts were checked against the original source — the official release notes for Transformers 5.17.0 on GitHub.
Библиотека Transformers от Hugging Face — один из самых массовых пакетов в мире машинного обучения: через неё в прикладной код попадают почти все открытые модели, а её API давно стало общим языком для инференса и дообучения. 9 сентября 2026 года вышла версия 5.17.0. В релизе несколько новых архитектур, одно несовместимое изменение в расчёте вращающихся позиционных эмбеддингов для зрительных моделей, оптимизация цикла генерации и больше восьми десятков исправлений.
Что добавили из моделей
Набор новых архитектур в этом выпуске заметно смещён в сторону мультимодальности и речи:
- HYV4 — языковая модель на разреженной смеси экспертов: 780 миллиардов параметров всего и 49 миллиардов активируемых на токен, контекстное окно на миллион токенов, многоголовое латентное внимание и разреженное внимание в духе DeepSeek;
- KimiLinear — гибридная архитектура с линейным вниманием Kimi Delta Attention, где у рекуррентного состояния появляются поканальные вентили забывания;
- NeoMME — компактные мультимодальные энкодеры на 260 и 800 миллионов параметров, которые обрабатывают многоязычный текст и сырые фрагменты изображения в одном двунаправленном трансформере, без отдельной зрительной башни;
- VibeVoice — синтез длинной многоголосой речи через диффузию по следующему токену внутри языковой модели;
- Fun-ASR-Nano — распознавание речи на 800 миллионов параметров: китайский, английский и японский, семь китайских диалектов и двадцать шесть региональных акцентов;
- Canary-1B-v2 — многоязычное распознавание и перевод речи на связке энкодера Fast Conformer и трансформерного декодера.
Несовместимое изменение: вращающиеся эмбеддинги свели в один модуль
Главное, ради чего стоит читать заметки к выпуску перед обновлением. Двумерные и трёхмерные вращающиеся позиционные эмбеддинги для зрительных моделей раньше считались вразнобой: где-то на уровне слоя внимания, где-то собственной для конкретной модели логикой чередования сетки координат. Теперь расчёт частот сведён в единый общий модуль. Тем, у кого есть свои зрительные модели, опирающиеся на прежнюю поэлементную логику, придётся перейти на централизованную реализацию — старый код молча правильным не останется.
Генерация, кеш, квантование и ядра
В цикле генерации убрали лишнюю синхронизацию с ускорителем на каждом шаге декодирования — это чистый выигрыш по времени на длинных ответах. Ещё поправили безусловное обращение к удалённому хабу за файлами и проверку кеша при автокомпиляции моделей вида энкодер-декодер.
По кешу: исправлен квантованный кеш в VibeVoice, снят необоснованный отказ от нестатического кеша в реальном времени, добавлена внятная ошибка вместо непонятного падения, когда постраничное внимание включают без кеша. По квантованию: обработка FP8-эмбеддингов у моделей Qwen, недостающие переопределения слоёв при тензорном параллелизме и лишнее обратное преобразование весов MXFP4 на ускорителях XPU. По ядрам: поддержаны вложенные импорты FLA, появилось предупреждение при тихом откате на реализацию из PyTorch, а в конфигурации ядер разрешена регистрация отдельных функций.
Что это значит на практике
Минорный номер здесь обманчив: изменение в эмбеддингах ломающее, и оно бьёт ровно по тем, кто держит собственный код, а не тянет модель как есть. Порядок действий простой.
Сначала зафиксируйте версию в зависимостях и обновляйтесь отдельным шагом, а не заодно с прикладным релизом. Если в проекте есть свои зрительные модели или патчи слоёв внимания — прогоните их на новой версии и сравните выходы с эталонными числами, а не только факт «не упало»: тихой смены геометрии позиций тесты на импорт не поймают.
Отдельно проверьте закрытый контур. Правка про обращение к удалённому хабу означает, что поведение при загрузке файлов изменилось, и стенд без доступа в интернет — самый честный способ убедиться, что модели по-прежнему поднимаются из локального кеша. Тем, кто считает на XPU или использует FP8 и MXFP4, стоит перемерить и скорость, и качество: правки квантования затрагивают и то, и другое. И заранее заложите время на разбор, если у вас длинная цепочка собственных ядер — предупреждение о тихом откате на PyTorch наверняка вскроет пару мест, где ускорения давно не было, а вы об этом не знали.
Черновик текста подготовлен с участием ИИ, факты сверены с первоисточником — официальные заметки к выпуску Transformers 5.17.0 на GitHub.
Share
