The post has been translated automatically. Original language: Russian
AI FinOps: Why AI Costs Are Rising and How to Fix It
AI is getting cheaper per token, but organizations are spending more overall. This is the new AI FinOps paradox.
DataArt points to a 67% drop in blended AI costs over two years, from $18.40 to $6.07 per million tokens, while 73% of organizations still exceeded their AI budget projections. The reason is straightforward: lower unit prices are being overwhelmed by dramatically increasing AI usage.
As companies embed AI into coding tools, customer service, analytics, copilots and autonomous agents, the number of inference calls grows rapidly. Goldman Sachs projects a 24-fold increase in token consumption by 2030. At the same time, 98% of organizations are already managing AI spend, compared with only 31% in 2024. The problem has therefore shifted from whether companies should manage AI costs to how effectively they can do it.
Why traditional FinOps doesn't work well for AI
Traditional cloud FinOps works relatively well because cloud resources have predictable economics: a VM, for example, has a known hourly cost and can be tagged to a team or project.
AI introduces three major complications:
1. Non-deterministic usage
The same prompt can produce different reasoning paths and consume different numbers of tokens. This makes traditional anomaly detection and forecasting less reliable.
2. Model proliferation
A single application may use several models for different jobs: a powerful model for reasoning, a cheaper model for classification, another for summarization, and perhaps an on-premises model for sensitive information.
Model selection therefore becomes a major cost decision at the application level.
3. Poor attribution
LLM API calls frequently don't contain enough metadata to identify the product, feature, team or user responsible for the spend. A company may see millions of calls on an invoice without knowing which business activity generated them.
The problem becomes even larger with agentic systems: a simple user request can trigger retrieval, reasoning, tool calls, additional prompts and multiple model calls. An apparently small interaction can therefore turn into thousands of tokens.
The three biggest cost-optimization levers
DataArt identifies three architectural levers that can materially reduce AI costs.
1. Context precision
More context ≠ better AI.
Longer prompts consume more tokens, and irrelevant information can actually make results worse.
The recommendation is to provide each AI step with only the context it actually needs. DataArt estimates that this can reduce costs by roughly 30–50%, while potentially improving answer quality.
2. Model routing
Not every task requires a frontier model.
DataArt estimates that around 70% of enterprise AI tasks are commodity work, such as summarization, classification and extraction. Cheaper models can handle these tasks at dramatically lower cost.
A routing layer determines the complexity of a request and sends it to an appropriate model rather than automatically using the most expensive one.
The article estimates 40–50% savings from effective model routing, without sacrificing quality.
3. Prompt caching
Many AI requests repeatedly send the same information: system instructions, documents, tool definitions, etc.
Instead of paying for the same context repeatedly, caching allows frequently reused portions to be processed more efficiently. DataArt cites Anthropic's prefix caching as reducing cached-token costs by 90%.
Combined with routing, the article says applicable workloads can achieve 60–80% total savings.
How companies should forecast AI spending
AI forecasting is inherently less predictable than traditional cloud forecasting.
DataArt highlights several useful planning ratios:
| Metric | Approximate ratio |
| Output vs. input token cost | Output ≈ 5× input |
| Frontier vs. economy models | ≈ 15–30× |
| Agentic vs. equivalent RAG workflow | ≈ 3–10× more tokens |
| Reasoning vs. standard generation | ≈ 2–5× more tokens |
Rather than forecasting a single number, DataArt recommends building a range.
The basic approach is:
Atomic business task → token estimate → architecture multiplier → expected volume → cost range
For example, the atomic unit might be one processed document, one resolved support ticket or one reviewed pull request.
Architecture then determines the multiplier. Simple generation is relatively inexpensive; RAG introduces retrieval/context overhead; agentic workflows require substantially larger safety margins.
The article particularly recommends budgeting agentic systems around their maximum allowed iteration count, rather than assuming an average number of loops.
Why AI agents create a new financial risk
Agents change the economics because they can autonomously initiate additional work.
A poorly configured agent can:
- repeatedly call tools
- retry failed requests
- expand its context
- invoke multiple models
- continue reasoning for many iterations
This creates a potentially runaway cost mechanism.
DataArt cites examples of CI/CD agents generating $2,000+ overnight bills and uncapped AI coding tools exceeding $1,000 per developer per month.
The solution shouldn't simply be a dashboard that tells you afterward that something went wrong.
DataArt recommends architectural guardrails:
- restrict each subagent's context
- expose only the tools required for its current task
- set feature-level spending limits
- introduce hard caps and early alerts
- centralize and govern agent execution
The important idea is preventing uncontrolled spend rather than merely detecting it afterward.
The operating model: Visibility → Attribution → Optimization
This is arguably the most important framework in the article.
Visibility
First, organizations need one consolidated view of AI spending across providers and environments.
That means looking beyond a single API invoice and bringing together providers such as OpenAI, Anthropic, AWS Bedrock, Azure and Google Vertex alongside traditional cloud and SaaS spending.
Attribution
Next, every AI call should be associated with meaningful metadata:
feature → product → team → process → cost
This needs to be implemented at the application layer. It can't easily be reconstructed after the fact.
Optimization
Only once you know where the money is going can you determine whether it is producing value.
Therefore, DataArt argues that the most useful KPI isn't simply:
“How much did we spend on AI?”
but rather:
“How much did it cost to produce a valuable outcome?”
Examples include:
- cost per resolved support ticket
- cost per accepted coding suggestion
- cost per processed document
- cost per completed workflow
This reframes AI spending from an IT expense into unit economics that finance, product and engineering can jointly manage.
What's not mature yet
DataArt deliberately distinguishes proven practices from areas that are still experimental.
Autonomous FinOps agents: useful for recommendations, but destructive actions should remain human-controlled.
Cross-provider attribution: still difficult, particularly when one workflow combines text, image, embedding and multiple LLM calls.
Edge AI economics: potentially significant savings, but capacity planning and rollback practices are less mature.
Long-term agentic forecasting: the 5–10× multiplier is useful for budgeting but shouldn't be treated as a precise prediction.
The bigger takeaway
The article isn't ultimately arguing that companies should spend less on AI.
It's arguing that companies need to understand what each AI dollar produces.
The key shift is:
AI cost management → AI unit economics
Instead of treating AI as another line on the monthly cloud invoice, organizations should treat it as a managed investment with:
visibility → attribution → optimization → measurable business outcome
And the timing matters. AI adoption is expanding too quickly for organizations to wait years for AI FinOps practices to mature organically. Companies that establish attribution, cost controls and architectural optimization early can develop a structural cost advantage.
AI FinOps: почему расходы на AI растут и как это исправить
Cтоимость AI в расчёте на один токен снижается, но общие расходы компаний на AI продолжают расти.
За два года средняя стоимость AI снизилась на 67%: с $18,40 до $6,07 за миллион токенов. При этом 73% компаний всё равно превысили первоначально запланированный бюджет на AI.
Причина проста: снижение стоимости одного токена не компенсирует стремительный рост общего количества AI-запросов.
AI всё активнее интегрируется в разработку ПО, customer service, аналитику, copilots и автономных AI-агентов. В результате компании генерируют гораздо больше inference-запросов, чем изначально предполагали.
По прогнозам Goldman Sachs, к 2030 году потребление токенов может вырасти в 24 раза.
Таким образом, проблема уже не в том, нужно ли компаниям контролировать расходы на AI, а в том, как эффективно ими управлять.
Почему традиционный FinOps плохо работает с AI
Традиционный FinOps хорошо подходит для управления облачными ресурсами, поскольку их использование относительно предсказуемо. Например, стоимость виртуальной машины можно рассчитать по часам и связать с конкретной командой или проектом.
С AI всё сложнее.
Непредсказуемое потребление
Один и тот же prompt может приводить к разному количеству токенов и разным вычислительным затратам. Особенно это актуально для reasoning-моделей и AI-агентов.
Поэтому традиционные методы прогнозирования и обнаружения аномалий становятся менее надёжными.
Большое количество моделей
Одна система может одновременно использовать несколько моделей:
- мощную модель для сложных задач;
- более дешёвую модель для классификации;
- отдельную модель для summarization;
- локальную модель для работы с чувствительными данными.
Поэтому выбор модели становится важным архитектурным и финансовым решением.
Сложности с attribution
API-вызов сам по себе часто не показывает, какой именно продукт, функция, команда или пользователь создали расходы.
Компания может видеть миллионы запросов в счёте, но не понимать, какая бизнес-активность за ними стоит.
С AI-агентами проблема становится ещё серьёзнее. Один пользовательский запрос может запустить retrieval, reasoning, несколько tool calls и дополнительные обращения к модели.
В результате простой пользовательский запрос способен превратиться в тысячи токенов и множество отдельных API-вызовов.
Три главных способа снизить AI-затраты
1. Оптимизация контекста
Больше контекста не означает лучший результат.
Чем больше информации передаётся модели, тем больше токенов используется. Более того, нерелевантный контекст может даже ухудшать качество ответа.
Поэтому рекомендуется передавать каждому AI-компоненту только ту информацию, которая действительно необходима для выполнения конкретной задачи.
По оценке DataArt, это потенциально может снизить расходы примерно на 30–50%, одновременно улучшая качество результатов.
2. Model routing
Не каждой задаче нужна самая мощная и дорогая модель.
По оценке DataArt, около 70% корпоративных AI-задач являются относительно стандартными. Например:
- summarization;
- classification;
- extraction;
- простая генерация текста.
Такие задачи могут выполняться более дешёвыми моделями.
Routing layer определяет сложность запроса и направляет его в соответствующую модель вместо того, чтобы автоматически использовать самую дорогую.
Эффективный model routing потенциально может обеспечить 40–50% экономии без существенного снижения качества.
3. Prompt caching
Многие AI-запросы постоянно повторяют одну и ту же информацию:
- system instructions;
- документы;
- tool definitions;
- другой неизменяемый контекст.
Вместо того чтобы каждый раз заново оплачивать обработку этой информации, можно использовать caching.
Например, prefix caching позволяет значительно снизить стоимость повторно используемых токенов.
В сочетании с routing этот подход, по оценке DataArt, может дать 60–80% экономии для подходящих workload'ов.
Как прогнозировать расходы на AI
Прогнозирование AI-затрат сложнее традиционного cloud forecasting, потому что итоговая стоимость зависит не только от количества пользователей, но и от архитектуры AI-системы.
DataArt выделяет несколько полезных соотношений:
| Показатель | Примерное соотношение |
| Стоимость output vs input tokens | Output примерно в 5 раз дороже |
| Frontier vs economy models | примерно 15–30× |
| Agentic workflow vs аналогичный RAG workflow | примерно 3–10× больше токенов |
| Reasoning vs обычная генерация | примерно 2–5× |
Поэтому вместо одного точного прогноза рекомендуется использовать диапазон возможных расходов.
Подход выглядит следующим образом:
Бизнес-задача → оценка токенов → архитектурный multiplier → ожидаемый объём → диапазон стоимости
Например, за единицу измерения можно взять:
- обработанный документ;
- закрытый support ticket;
- проверенный pull request;
- завершённый workflow.
Затем необходимо учитывать архитектуру.
Простая генерация будет относительно дешёвой. RAG добавит расходы на retrieval и дополнительный контекст. Agentic workflow может потребовать значительно больше токенов из-за множества итераций и tool calls.
Для AI-агентов DataArt рекомендует особенно осторожно подходить к прогнозированию и рассчитывать бюджет с учётом максимально допустимого количества итераций, а не только среднего значения.
Почему AI-агенты создают новый финансовый риск
AI-агенты принципиально меняют экономику AI-систем, поскольку они могут самостоятельно инициировать дополнительную работу.
Плохо настроенный агент способен:
- многократно вызывать инструменты;
- повторять неудачные запросы;
- постоянно расширять контекст;
- обращаться к нескольким моделям;
- продолжать reasoning в течение большого количества итераций.
В результате расходы могут расти практически неконтролируемо.
DataArt приводит примеры CI/CD-агентов, которые создавали счета более чем на $2 000 за одну ночь, а также AI coding tools, расходы на которые превышали $1 000 на разработчика в месяц.
Поэтому недостаточно просто иметь dashboard, который покажет проблему после того, как она уже произошла.
Необходимы архитектурные ограничения:
- ограничивать контекст каждого subagent;
- предоставлять агенту только необходимые инструменты;
- устанавливать spending limits на уровне конкретных функций;
- использовать жёсткие лимиты и early alerts;
- централизованно управлять выполнением агентов.
Главная идея: не просто обнаруживать перерасход, а предотвращать его.
Operating model: Visibility → Attribution → Optimization
Это одна из ключевых концепций статьи.
Visibility
Сначала компания должна получить единую картину всех расходов на AI.
Необходимо учитывать затраты различных AI-провайдеров и инфраструктуры, а не смотреть только на один API invoice.
Attribution
Следующий этап — привязать каждый AI-вызов к конкретному контексту:
feature → product → team → process → cost
Эту информацию необходимо добавлять на уровне приложения.
Пытаться восстановить attribution постфактум практически невозможно.
Optimization
Только после того, как компания понимает, куда именно уходят деньги, можно определить, насколько эти расходы оправданы.
Поэтому наиболее важным KPI становится не просто:
«Сколько мы потратили на AI?»
а:
«Сколько стоит получение конкретного полезного результата?»
Например:
- стоимость одного решённого support ticket;
- стоимость одного принятого coding suggestion;
- стоимость обработки одного документа;
- стоимость завершения одного workflow.
Таким образом, AI-затраты превращаются из обычной IT-статьи расходов в unit economics, которой совместно управляют Finance, Product и Engineering.
Что пока остаётся незрелым
DataArt также выделяет несколько направлений, которые пока находятся на стадии развития.
Autonomous FinOps agents. Они могут быть полезны для анализа и рекомендаций, однако destructive actions должны оставаться под контролем человека.
Cross-provider attribution. Отследить стоимость одного workflow становится сложно, когда он одновременно использует текстовые модели, embeddings, изображения и несколько LLM-провайдеров.
Edge AI economics. Использование AI на edge-устройствах потенциально может значительно сократить расходы, однако capacity planning и rollback-процессы пока менее зрелые.
Долгосрочное прогнозирование agentic AI. Множители 5–10× полезны для планирования бюджета, но не должны восприниматься как точный прогноз.
Главный вывод
Статья не призывает компании просто тратить меньше на AI.
Главная идея заключается в том, что компаниям необходимо понимать, какой результат они получают за каждый потраченный доллар.
Таким образом, происходит переход:
AI cost management → AI unit economics
AI больше нельзя воспринимать просто как ещё одну строку в ежемесячном cloud invoice.
Компании должны управлять AI как инвестициями, используя последовательную модель:
Visibility → Attribution → Optimization → Measurable Business Outcome
Чем раньше компания внедрит attribution, cost controls и архитектурную оптимизацию, тем больше у неё возможностей получить долгосрочное преимущество в стоимости AI.
Share
