Технологии распознавания лиц и объектов становятся всё более сложными и распространенными. Сегодня они применяются в области безопасности, контроля доступа, маркетинга и т. д. 

Один из способов проверить качество и надежность алгоритмов — это обратиться за независимым тестированием в Национальный институт стандартов и технологий (NIST — правительственное агентство США, которое разрабатывает и продвигает стандарты для широкого спектра технологий, включая биометрию). Оценки NIST по распознаванию лиц являются строгими и всеобъемлющими, а алгоритмы, прошедшие эти тесты, считаются одними из лучших в мире.

Некоторые цели тестирования:

• Определить области улучшения алгоритма. Тест подробно показывает производительность алгоритма, что помогает нам найти проблемные зоны и сфокусировать работу в них.  
• Показать точность и надежность. Тест проверяет алгоритмы по множеству факторов, включая скорость и качество работы в сложных условиях. Пройти такой тест могут действительно лучшие алгоритмы, на которые можно положиться в реальных приложениях.
• Прозрачность результатов. Итоги испытаний общедоступны и находятся в открытом доступе. Ознакомиться с работой алгоритмов от вендоров со всего мира может каждый желающий.
• Доверие и ответственность. Технологии распознавания являются мощными инструментами, но они также вызывают обеспокоенность по поводу конфиденциальности и возможности злоупотреблений. Отправляя свои технологии на независимое тестирование в NIST, компании демонстрируют свою приверженность разработке и внедрению этих технологий ответственным и этическим образом.

Тест поставщиков систем распознавания лиц (FRVT), проводимый NIST, уже долгое время является ведущей в мире независимой оценкой. FRVT проводится на регулярной основе с использованием большого и разнообразного набора изображений. 

Что такое тест вендоров NIST в области распознавания лиц и как читать результаты

Давайте разберемся, в чем заключается основной тест производителя, результаты которого часто можно встретить в обзорах алгоритмов распознавания лиц.

FRVT использует большой и разнообразный набор изображений, включая фото в фас и в профиль, изображения с различным освещением и вариациями поз, а также изображения людей из разных национальных и демографических групп. 

Алгоритмы тестируются на способность точно сопоставлять лица в различных сценариях, таких как:

• Идентификация 1:1: сопоставление лица на тестовом изображении с лицом на изображении в галерее. При этом в галерее есть именно изображение, соответствующее тестовому изображению (эталонное лицо).
• Идентификация 1:N: поиск в галерее изображений, чтобы определить, содержит ли пробное изображение совпадение с каким-либо изображением в галерее.

NIST также сообщает о точности алгоритмов распознавания лиц в различных сложных условиях, таких как:

• Изображения низкого качества: с плохим разрешением, шумом или сжатием.
• Варианты поз: изображения, на которых лицо объекта не обращено прямо в камеру.
• Варианты освещения: изображения с плохими условиями освещения, например, с передержкой или недодержкой.
• Препятствия: изображения, на которых лицо объекта частично закрыто такими объектами, как очки, шляпы или маски.

NIST использует два показателя для измерения точности алгоритмов распознавания лиц и сопоставления:

• Коэффициент ложноотрицательной идентификации (FNIR) — это доля парных сравнений, которые алгоритм не может сопоставить. Другими словами, это процент случаев, когда алгоритм ошибочно не может идентифицировать известного человека.
• Коэффициент ложноположительной идентификации (FPIR) — это доля сравнений самозванцев, которым соответствует алгоритм. Другими словами, это процент случаев, когда алгоритм ошибочно идентифицирует незнакомца как известного человека.

NIST сообщает FNMR и FMR каждого алгоритма в диапазоне пороговых значений. Порог — это оценка, которую алгоритм должен получить, чтобы вернуть совпадение. Более высокий порог приведет к меньшему количеству ложных совпадений, но также и к большему количеству ложных несовпадений.

Помимо точности, NIST также проверяет скорость и надежность алгоритмов распознавания лиц и сопоставления. Скорость алгоритма измеряется временем, необходимым для обработки изображения и возврата совпадения. Надежность алгоритма измеряется его способностью точно работать в сложных условиях, таких как слабое освещение, плохое качество изображения и препятствия (например, солнцезащитные очки, шляпы и маски).

Кейс: результаты тестирования Verigram - Топ 1

Наш алгоритм получил высший рейтинг NIST в категории «Идентификация 1:N» на основе базы данных из 12 миллионов лиц с результатами FPIR=0,001, FNIR=0,0115.

Эти результаты показывают, что алгоритм достиг FNIR 0,0115 при FPIR 0,001 в наборе данных фотографий, который содержит 12 миллионов лиц. Это означает, что алгоритм смог найти и правильно идентифицировать совпадающее лицо в 98,85% случаев, в то время как ложноположительное совпадение произошло только в 0,1% случаев. Это означает, что алгоритм, скорее всего, сможет идентифицировать лицо человека, даже если он носит очки, шляпу или маску.

Проще говоря, это означает, что алгоритм очень хорошо распознает лица в большой базе данных даже в сложных условиях. Первое место означает, что в этих условиях наш алгоритм работает лучше, чем у других вендоров.

Важно отметить, что производительность алгоритмов распознавания лиц может варьироваться в зависимости от качества изображений, размера и разнообразия базы данных, а также конкретных условий, в которых используется алгоритм. 

Решение Verigram на реальных данных показывает результаты выше, чем в строгих условиях тестирования.

Если вы хотите узнать больше информации о наших результатах тестирования Face Recognition или Liveness алгоритмов, а также об обнаружении мошеннических атак в более широком смысле, пожалуйста, напишите нам на arman.shuakpayev@verigram.kz.