Only RK

Price: 100000

Number of applications: 0

Детерминированная атрибуция и устранение монотонного роста резидентной памяти in-memory хранилища под стационарной нагрузкой распределённых очередей задач
Customer

Kaskyr.com жауапкершілігі шектеулі серіктестігі
Decision acceptance deadline

27.11.26 (inclusive)

Form of award

Денежная

Product status

Finished product

Task type

ICT tasks

Сфера применения

Robotics

Область задачи

Information processing and transformation

Purpose and description of task (project)

Мы эксплуатируем облачную B2B-платформу, фоновый контур которой построен на распределённых очередях задач поверх Redis-совместимого in-memory хранилища. При стационарном профиле нагрузки, когда число задач в единицу времени и их состав не меняются, резидентная память хранилища растёт монотонно и не возвращается к базовой линии после завершения задач. Рост заканчивается либо вытеснением ключей, либо плановым перезапуском, то есть деградацией отказоустойчивости всего асинхронного контура.

Type of product

Software/ IS

Problem description

Штатные средства диагностики (сводная статистика памяти, выборочная оценка размера ключей) показывают следствие, но не источник: из них не видно, какой класс ключей, какая очередь и какая стадия жизненного цикла задачи удерживают память. Рабочие гипотезы: неполная очистка метаданных завершённых и отказавших задач; накопление записей дедупликации, блокировок и идемпотентности без срока жизни; неограниченный рост потоков событий очередей; фрагментация аллокатора, при которой резидентная память расходится с логическим объёмом данных. Сегодня проверка каждой гипотезы занимает у инженера несколько дней ручной работы, а её результат нельзя воспроизвести и нельзя поставить на постоянный мониторинг. Требования к решению Атрибуция памяти. Разложение потребляемой памяти по пространствам ключей (префикс или шаблон), типам структур данных и стадиям жизненного цикла задачи, в динамике. Логический объём данных и потери на фрагментацию показываются раздельно. Неинвазивность. Только неблокирующие операции: инкрементальный обход пространства ключей и статистическая выборка. Бюджет наблюдения настраивается; добавленная задержка обработки команд на 99-м перцентиле не превышает 2 %. Детектор аномалий. Автоматическое выделение классов ключей, рост которых не коррелирует с объёмом входящих задач, и объектов без срока жизни. Воспроизводимость. Синтетический стенд с генератором нагрузки, который воспроизводит дефект и подтверждает его устранение отчётом «до и после». Интеграция. Экспорт метрик в формате OpenMetrics; поставка одним контейнером; без изменения кода приложений, которые ставят и исполняют задачи. Результат. Инструмент (предпочтительно с открытым исходным кодом), методика диагностики и рекомендации по политике хранения метаданных задач.

Tech-task
Скачать файл
Expected effect

На стенде с заранее внесёнными дефектами инструмент находит не менее 90 % из них и для каждого называет класс ключей и стадию жизненного цикла задачи. После применения рекомендаций резидентная память хранилища при стационарной нагрузке в течение 72 часов остаётся в коридоре ±5 % от базовой линии. Накладные расходы наблюдения укладываются в бюджет из пункта 2.

Full name of responsible person

Жапар Әділ Ермекұлы

Note

Send the solution