В быстро развивающемся мире искусственного интеллекта (ИИ) эффективность вычислений и производительность являются важнейшими движущими силами инноваций. Форматы с плавающей запятой уже давно являются основой численных вычислений, а форматы FP32 (32-разрядные) и FP16 (16-разрядные) доминируют в обучении моделей искусственного интеллекта и выводе логических заключений. Однако появление 8-разрядного формата FP8 представляет собой значительный шаг вперед в повышении эффективности вычислений с помощью искусственного интеллекта. В этой статье рассматривается, что такое FP8, как он работает и почему он становится все более важным для современных систем искусственного интеллекта.

Что такое FP8?

FP8 - это 8-разрядный формат с плавающей запятой, предназначенный для представления чисел с балансом точности и диапазона в очень компактной форме. Представления с плавающей запятой, в отличие от представлений с фиксированной запятой, используют комбинацию мантиссы (или значения) и экспоненты для кодирования чисел, что позволяет им эффективно представлять как очень маленькие, так и очень большие значения. В FP8 эти компоненты сжаты всего до 8 бит, что значительно меньше по сравнению с более распространенными 32-разрядными (FP32) или 16-разрядными (FP16) форматами, традиционно используемыми в вычислительной технике.

Формат FP8 представлен в двух основных вариантах, оба из которых стандартизированы рабочей группой IEEE P3109 и широко используются производителями аппаратного обеспечения:

• E4M3 (4-разрядная экспонента, 3-разрядная мантисса): Эта конфигурация выделяет 1 бит для знака, 4 бита для экспоненты и 3 бита для мантиссы. Она обеспечивает более высокую точность для меньших чисел, максимальное значение составляет приблизительно 448.
• E5M2 (5-разрядный показатель степени, 2-разрядная мантисса): Здесь 1 бит соответствует знаку, 5 бит - показателю степени и 2 бита - мантиссе. Этот вариант жертвует некоторой точностью ради более широкого диапазона, поддерживая значения приблизительно до 57344.

Эти два варианта позволяют разработчикам выбирать компромисс между точностью и динамическим диапазоном в зависимости от конкретных вариантов использования, что делает FP8 универсальным для рабочих нагрузок искусственного интеллекта.

Преимущества FP8 для искусственного интеллекта

1. Эффективность использования памяти

FP8 снижает требования к памяти в 4 раза по сравнению с FP32 и в 2 раза по сравнению с FP16/BF16. Для больших языковых моделей с миллиардами параметров это означает:

• Меньшие размеры модели
•  Сниженные требования к пропускной способности памяти
• Возможность установки более крупных моделей на существующее оборудование

2. Вычислительная производительность

Современные ускорители, такие как графические процессоры NVIDIA с архитектурой Hopper, оснащены специализированными тензорными ядрами FP8, которые могут выполнять матричные операции значительно быстрее, чем при использовании форматов с более высокой точностью. Это обеспечивает:

• В 4 раза более высокую пропускную способность для операций обучения
• В 6 раз более высокую пропускную способность для операций логического вывода
• Снижение энергопотребления на одну операцию

3. Возможности масштабирования

Повышение эффективности благодаря FP8 позволяет:

• Обучать модели большего размера с использованием тех же ресурсов
• Развертывать модели на современных устройствах с ограниченными возможностями
• Сокращая углеродный след от обучения ИИ и логических выводов

Современные приложения FP8

Большие языковые модели

Такие компании, как NVIDIA, Google и Meta, продемонстрировали, что FP8 можно использовать для обучения и точной настройки больших языковых моделей без существенной потери точности. Архитектура NVIDIA Hopper специально ориентирована на работу с FP8 для моделей на базе transformer.

Компьютерное зрение

Модели машинного зрения выигрывают от эффективности FP8 как для обучения, так и для вывода, особенно при развертывании на устройствах с ограниченными ресурсами, таких как смартфоны и встраиваемые системы.

Системы искусственного интеллекта в режиме реального времени

Приложения, требующие низкой задержки, такие как автономное вождение, робототехника и перевод в режиме реального времени, выигрывают от более высокой скорости вывода, обеспечиваемой FP8.

Совместимые графические процессоры NVIDIA

Не все графические процессоры поддерживают формат FP8. По состоянию на первый квартал 2025 года следующие устройства NVIDIA совместимы с FP8 :

• Графические процессоры NVIDIA Hopper: H100, H200, H800

•  Модели NVIDIA L4 и L40S: В первую очередь предназначены для вывода ИИ, а не для обучения

•  Графические процессоры Blackwell от NVIDIA: B100, B200, серия 5000

Для поддержки FP8 на современных графических процессорах, таких как NVIDIA H100, были представлены новые тензорные ядра. Они оптимизированы для 8-разрядных операций, что значительно увеличивает пропускную способность и снижает энергопотребление. Это усовершенствование обеспечивает более эффективную и быструю обработку данных, что делает эти графические процессоры очень подходящими как для обучения ИИ, так и для задач вывода.

Источники

• Форматы FP8 для глубокого обучения
• Использование FP8 с движком Transformer Engine — документация Transformer Engine 1.13.0

• Методы обучения с низкой точностью

• GitHub - Azure/MS-AMP: Библиотека Microsoft Automatic Mixed Precision Library

• NVIDIA/TransformerEngine · GitHub

• FP8 LLMs для vLLM - коллекция neuralmagic

• DeepSeek-V3

• NVIDIA Hopper: поддержка H100 и FP8

• Подробный обзор архитектуры NVIDIA Hopper | Технический блог NVIDIA

• Руководство пользователя Train with Mixed Precision от NVIDIA