Почему Verigram регулярно тестирует алгоритмы в лаборатории NIST
Технологии распознавания лиц и объектов становятся всё более сложными и распространенными. Сегодня они применяются в области безопасности, контроля доступа, маркетинга и т. д.
Один из способов проверить качество и надежность алгоритмов — это обратиться за независимым тестированием в Национальный институт стандартов и технологий (NIST — правительственное агентство США, которое разрабатывает и продвигает стандарты для широкого спектра технологий, включая биометрию). Оценки NIST по распознаванию лиц являются строгими и всеобъемлющими, а алгоритмы, прошедшие эти тесты, считаются одними из лучших в мире.
Некоторые цели тестирования:
- Определить области улучшения алгоритма. Тест подробно показывает производительность алгоритма, что помогает нам найти проблемные зоны и сфокусировать работу в них.
- Показать точность и надежность. Тест проверяет алгоритмы по множеству факторов, включая скорость и качество работы в сложных условиях. Пройти такой тест могут действительно лучшие алгоритмы, на которые можно положиться в реальных приложениях.
- Прозрачность результатов. Итоги испытаний общедоступны и находятся в открытом доступе. Ознакомиться с работой алгоритмов от вендоров со всего мира может каждый желающий.
- Доверие и ответственность. Технологии распознавания являются мощными инструментами, но они также вызывают обеспокоенность по поводу конфиденциальности и возможности злоупотреблений. Отправляя свои технологии на независимое тестирование в NIST, компании демонстрируют свою приверженность разработке и внедрению этих технологий ответственным и этическим образом.
Тест поставщиков систем распознавания лиц (FRVT), проводимый NIST, уже долгое время является ведущей в мире независимой оценкой. FRVT проводится на регулярной основе с использованием большого и разнообразного набора изображений.
Что такое тест вендоров NIST в области распознавания лиц и как читать результаты
Давайте разберемся, в чем заключается основной тест производителя, результаты которого часто можно встретить в обзорах алгоритмов распознавания лиц.
FRVT использует большой и разнообразный набор изображений, включая фото в фас и в профиль, изображения с различным освещением и вариациями поз, а также изображения людей из разных национальных и демографических групп.
Алгоритмы тестируются на способность точно сопоставлять лица в различных сценариях, таких как:
- Идентификация 1:1: сопоставление лица на тестовом изображении с лицом на изображении в галерее. При этом в галерее есть именно изображение, соответствующее тестовому изображению (эталонное лицо).
- Идентификация 1:N: поиск в галерее изображений, чтобы определить, содержит ли пробное изображение совпадение с каким-либо изображением в галерее.
NIST также сообщает о точности алгоритмов распознавания лиц в различных сложных условиях, таких как:
- Изображения низкого качества: с плохим разрешением, шумом или сжатием.
- Варианты поз: изображения, на которых лицо объекта не обращено прямо в камеру.
- Варианты освещения: изображения с плохими условиями освещения, например, с передержкой или недодержкой.
- Препятствия: изображения, на которых лицо объекта частично закрыто такими объектами, как очки, шляпы или маски.
NIST использует два показателя для измерения точности алгоритмов распознавания лиц и сопоставления:
- Коэффициент ложноотрицательной идентификации (FNIR) — это доля парных сравнений, которые алгоритм не может сопоставить. Другими словами, это процент случаев, когда алгоритм ошибочно не может идентифицировать известного человека.
- Коэффициент ложноположительной идентификации (FPIR) — это доля сравнений самозванцев, которым соответствует алгоритм. Другими словами, это процент случаев, когда алгоритм ошибочно идентифицирует незнакомца как известного человека.
NIST сообщает FNMR и FMR каждого алгоритма в диапазоне пороговых значений. Порог — это оценка, которую алгоритм должен получить, чтобы вернуть совпадение. Более высокий порог приведет к меньшему количеству ложных совпадений, но также и к большему количеству ложных несовпадений.
Помимо точности, NIST также проверяет скорость и надежность алгоритмов распознавания лиц и сопоставления. Скорость алгоритма измеряется временем, необходимым для обработки изображения и возврата совпадения. Надежность алгоритма измеряется его способностью точно работать в сложных условиях, таких как слабое освещение, плохое качество изображения и препятствия (например, солнцезащитные очки, шляпы и маски).
Кейс: результаты тестирования Verigram - Топ 1
Наш алгоритм получил высший рейтинг NIST в категории «Идентификация 1:N» на основе базы данных из 12 миллионов лиц с результатами FPIR=0,001, FNIR=0,0115.
Эти результаты показывают, что алгоритм достиг FNIR 0,0115 при FPIR 0,001 в наборе данных фотографий, который содержит 12 миллионов лиц. Это означает, что алгоритм смог найти и правильно идентифицировать совпадающее лицо в 98,85% случаев, в то время как ложноположительное совпадение произошло только в 0,1% случаев. Это означает, что алгоритм, скорее всего, сможет идентифицировать лицо человека, даже если он носит очки, шляпу или маску.
Проще говоря, это означает, что алгоритм очень хорошо распознает лица в большой базе данных даже в сложных условиях. Первое место означает, что в этих условиях наш алгоритм работает лучше, чем у других вендоров.
Важно отметить, что производительность алгоритмов распознавания лиц может варьироваться в зависимости от качества изображений, размера и разнообразия базы данных, а также конкретных условий, в которых используется алгоритм.
Решение Verigram на реальных данных показывает результаты выше, чем в строгих условиях тестирования.
Если вы хотите узнать больше информации о наших результатах тестирования Face Recognition или Liveness алгоритмов, а также об обнаружении мошеннических атак в более широком смысле, пожалуйста, напишите нам на arman.shuakpayev@verigram.kz.
Comments 3
Login to leave a comment
Shyngys True · Oct. 18, 2023 23:37
Значительная часть технологий, связанных с распознаванием лиц и объектов, используется в таких ключевых областях, как безопасность и маркетинг. Регулярное тестирование в NIST позволяет не только подтвердить качество алгоритмов, но и определить области для их улучшения.
Нұрболат Елеш · Oct. 14, 2023 22:36
Такие результаты говорят о высоком уровне компетентности и качества технологии, и это может быть важным аргументом при выборе и использовании технологии распознавания лиц.
Kirill Grebennikov · Oct. 14, 2023 14:50
В эпоху цифровизации и повсеместного использования технологий распознавания лиц для безопасности и автоматизации, такие показатели действительно впечатляют. Жду больше информации о вашем продукте и его применении в реальных условиях. Продолжайте в том же духе!🌟👏