Сумма: 100000
Количество заявок: 0
27.11.26 (включительно)
Денежная
Готовый продукт
Задачи ИКТ
Робототехника
Обработка и преобразование информации
Цель и описание задачи (проекта)
Мы эксплуатируем облачную B2B-платформу, фоновый контур которой построен на распределённых очередях задач поверх Redis-совместимого in-memory хранилища. При стационарном профиле нагрузки, когда число задач в единицу времени и их состав не меняются, резидентная память хранилища растёт монотонно и не возвращается к базовой линии после завершения задач. Рост заканчивается либо вытеснением ключей, либо плановым перезапуском, то есть деградацией отказоустойчивости всего асинхронного контура.
ПО/ИС
Штатные средства диагностики (сводная статистика памяти, выборочная оценка размера ключей) показывают следствие, но не источник: из них не видно, какой класс ключей, какая очередь и какая стадия жизненного цикла задачи удерживают память. Рабочие гипотезы: неполная очистка метаданных завершённых и отказавших задач; накопление записей дедупликации, блокировок и идемпотентности без срока жизни; неограниченный рост потоков событий очередей; фрагментация аллокатора, при которой резидентная память расходится с логическим объёмом данных. Сегодня проверка каждой гипотезы занимает у инженера несколько дней ручной работы, а её результат нельзя воспроизвести и нельзя поставить на постоянный мониторинг. Требования к решению Атрибуция памяти. Разложение потребляемой памяти по пространствам ключей (префикс или шаблон), типам структур данных и стадиям жизненного цикла задачи, в динамике. Логический объём данных и потери на фрагментацию показываются раздельно. Неинвазивность. Только неблокирующие операции: инкрементальный обход пространства ключей и статистическая выборка. Бюджет наблюдения настраивается; добавленная задержка обработки команд на 99-м перцентиле не превышает 2 %. Детектор аномалий. Автоматическое выделение классов ключей, рост которых не коррелирует с объёмом входящих задач, и объектов без срока жизни. Воспроизводимость. Синтетический стенд с генератором нагрузки, который воспроизводит дефект и подтверждает его устранение отчётом «до и после». Интеграция. Экспорт метрик в формате OpenMetrics; поставка одним контейнером; без изменения кода приложений, которые ставят и исполняют задачи. Результат. Инструмент (предпочтительно с открытым исходным кодом), методика диагностики и рекомендации по политике хранения метаданных задач.
На стенде с заранее внесёнными дефектами инструмент находит не менее 90 % из них и для каждого называет класс ключей и стадию жизненного цикла задачи. После применения рекомендаций резидентная память хранилища при стационарной нагрузке в течение 72 часов остаётся в коридоре ±5 % от базовой линии. Накладные расходы наблюдения укладываются в бюджет из пункта 2.
Жапар Әділ Ермекұлы
Whatsapp
