The post has been translated automatically. Original language: Russian
Generative artificial intelligence has revolutionized not only software, but also physical infrastructure. It seems that our usual air conditioners and huge fans in data centers are becoming a thing of the past. And it's not about fashion, it's about harsh physics.
Tectonic shift: From 10 to 150 kW per rack
The main metric of any data center is the power density per server rack. A couple of years ago, a standard rack with classic CPUs (processors) consumed a modest 5-15 kW. The classical scheme of "hot and cold corridors" easily coped with this volume of heat: cold air is driven from below, hot air is drawn from above.
But the AI came. Learning large language models (LLM) requires giant clusters of heavy GPUs.
- The latest NVIDIA Blackwell server rack (GB200 NVL72) consumes an insane 120-140 kW!
- The ASHRAE and Uptime Institute experts are unanimous: the physical ceiling for air cooling is 20-25 kW per rack.
Expert opinion: "Trying to cool a 140 kW rack with air is like trying to put out a forest fire with a garden sprayer. You can't fool physics. Air is an excellent insulator, but an extremely mediocre heat carrier. To blow away this amount of heat, the air flow velocity in the data center must be hurricane—like - the coolers will simply start tearing out components by the roots, and the hum will be like at a cosmodrome."
The evolution of "hardware": Chips are hotter than irons
The problem is not only in the racks, but also in the crystals themselves. Silicon is getting smaller, there are more transistors on it, and heat dissipation (TDP) is growing exponentially.:
- Typical server CPU: 150-350 watts.
- Previous generation AI chip (NVIDIA H100): 700 watts.
- Blackwell architecture chips: 1000-1200 watts per processor.
It is impossible to remove 1.2 kW of energy from the area of a tiny silicon chip the size of a postage stamp using air. The chip heats up faster than the air has time to take away the heat. The result is instant overheating, throttling (frequency reset), and a drop in the efficiency of expensive AI equipment.
Economic impasse: Fans "devour" profits
Those data centers that are trying to stay outdoors with AI loads until the last moment are facing an economic catastrophe.
In order to pump the necessary cubic meters of air, the fans of the cooling systems must be running at the limit. The fan's power consumption increases in proportion to the cube of its speed. As a result, the data center spends almost a third of its total electricity on rotating the blades. Efficiency (PUE) is falling, and the cost of generating each AI token is skyrocketing.
What's next? The age of "liquid silicon"
According to analysts at TrendForce and Global Market Insights, the industry is experiencing a major infrastructure disruption. Previously, water cooling was exotic for supercomputers, but now it is the standard. More than 78% of new mega-data centers under construction are immediately designed exclusively for liquid media.
The industry is massively switching to two formats:
- Direct-to-Chip (Direct cooling): When tubes with dielectric liquid or water are connected directly to the copper canopy on the GPU.
- Immersion Cooling: When servers literally "bathe" in baths with a special dielectric oil.
Bottom line: Air cooling is officially recognized as unsuitable for AI. The era when data centers were buzzing with thousands of fans is ending. The future of AI is quiet, liquid, and very hot.
Генеративный искусственный интеллект совершил революцию не только в софте, но и в физической инфраструктуре. Похоже, привычные нам кондиционеры и огромные вентиляторы в дата-центрах уходят в прошлое. И дело тут не в моде, а в суровой физике.
Тектонический сдвиг: От 10 до 150 кВт на стойку
Главная метрика любого дата-центра — это плотность мощности на одну серверную стойку. Еще пару лет назад стандартная стойка с классическими CPU (процессорами) потребляла скромные 5–15 кВт. С этим объёмом тепла легко справлялась классическая схема «горячих и холодных коридоров»: холодный воздух гонится снизу, горячий вытягивается сверху.
Но пришел ИИ. Обучение больших языковых моделей (LLM) требует гигантских кластеров из тяжелых GPU.
- Новейшая серверная стойка NVIDIA Blackwell (GB200 NVL72) потребляет безумные 120–140 кВт!
- Эксперты ASHRAE и Uptime Institute единогласны: физический потолок для воздушного охлаждения — это 20–25 кВт на стойку.
Мнение эксперта: «Пытаться охладить воздухом стойку в 140 кВт — это всё равно что пытаться потушить лесной пожар садовым опрыскивателем. Физику не обмануть. Воздух — отличный изолятор, но крайне посредственный теплоноситель. Чтобы сдуть такое количество тепла, скорость воздушного потока в ЦОД должна быть ураганной — кулеры просто начнут вырывать компоненты с корнем, а гул будет стоять как на космодроме».
Эволюция «железа»: Чипы горячее утюгов
Проблема не только в стойках, но и в самих кристаллах. Кремний становится меньше, транзисторов на нем больше, а тепловыделение (TDP) растет экспоненциально:
- Обычный серверный CPU: 150–350 Вт.
- ИИ-чип прошлых поколений (NVIDIA H100): 700 Вт.
- Чипы архитектуры Blackwell: 1000–1200 Вт на один процессор.
Снять 1.2 кВт энергии с площади крошечного кремниевого чипа размером с почтовую марку с помощью воздуха невозможно. Чип нагревается быстрее, чем воздух успевает забрать тепло. Результат — моментальный перегрев, троттлинг (сброс частот) и падение эффективности дорогостоящего ИИ-оборудования.
Экономический тупик: Вентиляторы «пожирают» прибыль
Те дата-центры, которые до последнего пытаются остаться на «воздухе» при ИИ-нагрузках, сталкиваются с экономической катастрофой.
Чтобы прокачать нужные кубометры воздуха, вентиляторы систем охлаждения должны работать на пределе. Энергопотребление вентилятора растет пропорционально кубу его скорости. В итоге ЦОД тратит на вращение лопастей чуть ли не треть всего своего электричества. Эффективность (PUE) падает, а стоимость генерации каждого токена ИИ взлетает до небес.
Что дальше? Век «жидкого кремния»
По данным аналитиков TrendForce и Global Market Insights, индустрия переживает крупнейший инфраструктурный разлом. Если раньше водяное охлаждение было экзотикой для суперкомпьютеров, то сейчас это стандарт. Более 78% новых строящихся мега-ЦОД сразу проектируются исключительно под жидкие среды.
Индустрия массово переходит на два формата:
- Direct-to-Chip (Прямое охлаждение): Когда трубки с диэлектрической жидкостью или водой подводятся прямо к медному навесу на GPU.
- Immersion Cooling (Погружное охлаждение): Когда серверы буквально «купаются» в ваннах со специальным маслом-диэлектриком.
Итог: Воздушное охлаждение официально признано профнепригодным для ИИ. Эпоха, когда дата-центры гудели тысячами вентиляторов, заканчивается. Будущее ИИ — тихое, жидкое и очень горячее.
Share
