The post has been translated automatically. Original language: Russian
Harness is a software engine that allows the language model to work as an agent: read and change files, run commands, use tools, and perform multi—step tasks. It depends on what information the model receives and how its decisions turn into actions.
FrontierHarness Eval checks how much this engine affects the result. Different agents use the same model — Kimi K3 — and solve the same 30 programming and terminal tasks: 21 from Terminal-Bench and 9 from DeepSWE. Automatic checks determine success. This comparison shows how effectively each harness uses the capabilities of the same model. The methodology is based on the link.
KOT solved 23 out of 30 tasks and took the first place with a score of 76.7%.
Codex has 66.7%,
Claude Code and DSH Creator have 63.3% each.
The gap from the nearest participant was 10 percentage points. The median cost of a successful solution for KOT is $2.83 versus $3.47 for Codex and $18.34 for Claude Code. The median execution time is 5 minutes, the shortest among the presented configurations. The results are in the repository.
KOT is a fully Kazakhstani development by Loqira Labs with its own engine written from scratch. Its main feature is simultaneous work with several AI providers within a single agent team. For example, Claude can lead the task, GPT can check the architecture and code, and DeepSeek can simultaneously search for information and disassemble the project. You can choose your own model for each role based on quality, speed, and cost. GitHub of the project with releases at the link.
The goal of this approach is to efficiently deliver tasks to results by distributing work between suitable models. KOT manages their interaction, stores context and memory, provides tools and a shared task board. Everything is assembled in a single executable file with a built-in web interface for Windows, Linux and macOS.
Харнесс — это программный движок, который позволяет языковой модели работать как агент: читать и менять файлы, запускать команды, пользоваться инструментами и выполнять многошаговые задачи. От него зависит, какую информацию получает модель и как её решения превращаются в действия.
FrontierHarness Eval проверяет, насколько этот движок влияет на результат. Разные агенты используют одну модель — Kimi K3 — и решают одинаковые 30 задач по программированию и работе в терминале: 21 из Terminal-Bench и 9 из DeepSWE. Успех определяют автоматические проверки. Такое сравнение показывает, насколько эффективно каждый харнесс использует возможности одной и той же модели. Методика по ссылке.
KOT решил 23 задачи из 30 и занял первое место с результатом 76,7%.
У Codex — 66,7%,
у Claude Code и DSH Creator — по 63,3%.
Отрыв от ближайшего участника составил 10 процентных пунктов. Медианная стоимость успешного решения у KOT — $2,83 против $3,47 у Codex и $18,34 у Claude Code. Медианное время выполнения — 5 минут, самое короткое среди представленных конфигураций. Результаты в репозитории.
KOT — полностью казахстанская разработка Loqira Labs с собственным движком, написанным с нуля. Его главная особенность — одновременная работа с несколькими провайдерами ИИ внутри одной команды агентов. Например, Claude может вести задачу, GPT — проверять архитектуру и код, а DeepSeek — параллельно искать информацию и разбирать проект. Для каждой роли можно выбрать свою модель с учётом качества, скорости и стоимости. GitHub проекта с релизами по ссылке.
Цель такого подхода — эффективно доводить задачи до результата, распределяя работу между подходящими моделями. KOT управляет их взаимодействием, хранит контекст и память, предоставляет инструменты и общую доску задач. Всё собрано в одном исполняемом файле со встроенным веб-интерфейсом для Windows, Linux и macOS.
Share
