The post has been translated automatically. Original language: Russian
Imagine a world in which the fundamental ideas of deep machine learning and artificial intelligence were formulated not in the era of silicon chips and gigabytes of RAM, but centuries earlier - in the era of electromechanical tabs, vacuum tubes and millions of punched card arrays.
What would the epochal AI concepts look like if they were implemented using paper cards with holes?
1. Dataset per ton: Data and its physical storage
Today, training a model means downloading terabytes of text from the web. In the days of punched cards, data possessed quite tangible weight and volume.
- One "Token" = Multiple holes: IBM's standard 80-column punch card held only 80 characters.
- Dataset size: A modern small language model with 7 billion parameters would require about 100 billion punched cards. In physical terms, this is a stack about 17,000 kilometers high or entire railway trains filled with paper.
+-------------------------------------------------------------------+
| 0123456789 ABCDEFGHIJKLMNOPQRSTUVWXYZ |
| O [] [] [] [] [] [] [] [] [] |
| O [] [] [] [] [] [] [] [] [] |
| O [] [] [] [] [] [] [] [] |
| |
| [Punch card No. 0004512] -- Input vector X (Symptom: Cough) |
+-------------------------------------------------------------------+
2. Neural network architecture: Mechanical weights and gears
In this alternative reality, the concepts of "neural network weights" ($W$) and "activation functions" would acquire an engineering and mechanical character.:
- Weights are like physical switches: The weights are stored not in video memory (VRAM), but on special switching panels (Plugboards) with hundreds of jumpers and wires or on metal shafts with adjustable gears.
- Forward Pass: A stack of punched cards (input data) is fed into a mechanical reader at high speed. The spokes fall into the holes, close electrical circuits and set in motion relays that sum up the signals.
- Backpropagation: The most time-consuming stage. Instead of automatic gradient descent, laboratory technicians in white coats manually recalculate the error on the arithmometers and physically rearrange the plugs on the panels, changing the resistance of the circuit.
One epoch-making "Epoch": The learning process of one epoch would take not minutes, but months of round-the-clock operation of an entire workshop of reading machines, where operators on duty continuously serve and sort cards.
3. Comparing Eras: Digital AI vs Punch Card AI
| Parameter | Modern AI (2020s) | AI of the Punch Card Era (Alternative 20th century) |
| Data carrier | NVMe SSD / Cloud Storage | Cardboard punched cards in archive racks |
| Calculator | Graphics Processing Units (GPU/TPU) | Relay-vacuum cabinets and mechanical tabs |
| The time of one epoch | From a few hours to days | Years of continuous physical map bulkhead |
| Input interface | Text / Voice / Images | Mechanical Reader tray (Card Reader) |
| The main threat | Power failure, GPU overheating | Chewing of the card, increased humidity, moth |
4. Office of the "Industrial Engineer"
What would the "Prompt Engineer" profession look like in the 1950s?
- Making a request: Instead of entering text into a chatbot, an engineer manually fills a series of cards with an encoded context on a punch.
- Generation start: The request is placed in the feed tray of the computing complex.
- Getting an answer: The answer is "knocked out" at the output with a card punch or printed on a narrow paper tape of a lowercase printer.
[Engineer] ──(Stuffing cards)──► [Input Tray] ──► [Relay Calculator]
│
[Result: New card] ◄── (Perforation) ──────────────┘
5. The main problems and limitations of the concept
- Material wear: During a thousand-fold run through the reader, paper punched cards were worn out, the holes were deformed, which led to "hallucinations" of the system due to the reading of false signals.
- The problem of the "Chewed gradient": The physical breakdown of one card in the middle of a batch could stop training for weeks while operators manually restored the punched data.
And yet, even under such strict constraints, the concept of AI learning would remain unchanged at its core: the search for mathematical patterns in huge amounts of information. It's just that instead of the monitor's pixels shining, the rhythmic knocking of relays, the rustle of millions of paper cards and the smell of heated ozone would inform about the work of artificial intelligence.
Представьте мир, в котором фундаментальные идеи глубокого машинного обучения и искусственного интеллекта были сформулированы не в эпоху кремниевых чипов и гигабайтов оперативной памяти, а на столетия раньше - в эпоху электромеханических табуляторов, вакуумных ламп и миллионных массивов перфокарты.
Как выглядели бы эпохальные концепции ИИ, если бы их реализовали с помощью бумажных карточек с отверстиями?
1. «Датасет» вес с тонну: Данные и их физическое хранение
Сегодня обучить модель - значит скачать терабайты текста из сети. Во времена перфокарт данные обладали вполне осязаемым весом и объемом.
- Один «Токен» = Несколько отверстий: Стандартная 80-колоночная перфокарта IBM вмещала всего 80 символов.
- Размер датасета: Современная небольшая языковая модель на 7 миллиардов параметров потребовала бы около 100 миллиардов перфокарт. В физическом выражении это стопка высотой около 17 000 километров или целые железнодорожные составы, забитые бумагой.
+-------------------------------------------------------------------+
| 0123456789 ABCDEFGHIJKLMNOPQRSTUVWXYZ |
| O [] [] [] [] [] [] [] [] [] |
| O [] [] [] [] [] [] [] [] [] |
| O [] [] [] [] [] [] [] [] |
| |
| [Перфокарта № 0004512] -- Входной вектор X (Симптом: Кашель) |
+-------------------------------------------------------------------+
2. Архитектура нейросети: Механические веса и шестерни
В этой альтернативной реальности понятия «весов нейросети» ($W$) и «функции активации» приобрели бы инженерно-механический характер:
- Веса как физические переключатели: Весовые коэффициенты хранятся не в видеопамяти (VRAM), а на специальных коммутационных панелях (Plugboards) с сотнями перемычек и проводов или на металлических валах с регулируемыми шестернями.
- Прямое прохождение (Forward Pass): Пачка перфокарт (входные данные) с высокой скоростью подается в механический считыватель. Спицы проваливаются в отверстия, замыкают электрические цепи и приводят в движение реле, которые суммируют сигналы.
- Обратное распространение ошибки (Backpropagation): Самый трудоемкий этап. Вместо автоматического градиентного спуска лаборанты в белых халатах вручную пересчитывают ошибку на арифмометрах и физически переставляют штекеры на панелях, меняя сопротивление цепи.
Один эпохальный «Эпох» (Epoch): Процесс обучения одной эпохи занимал бы не минуты, а месяцы круглосуточной работы целого цеха считывающих машин, где дежурные операторы непрерывно подают и сортируют карточки.
3. Сравнение эпох: Цифровой ИИ vs Перфокартный ИИ
| Параметр | Современный ИИ (2020-е) | ИИ эпохи перфокарт (Альтернативный XX век) |
| Носитель данных | NVMe SSD / Облачные хранилища | Картонные перфокарты в архивных стеллажах |
| Вычислитель | Графические процессоры (GPU / TPU) | Релейно-вакуумные шкафы и механические табуляторы |
| Время одной эпохи | От нескольких часов до дней | Годы непрерывной физической переборки карт |
| Интерфейс ввода | Текст / Голос / Изображения | Механический лоток считывателя (Card Reader) |
| Основная угроза | Сбой электросети, перегрев GPU | Зажевывание карточки, повышенная влажность, моль |
4. Кабинет «Инженера-Промптера»
Как выглядела бы профессия «Prompt Engineer» в 1950-х годах?
- Составление запроса: Вместо ввода текста в чат-бот инженер вручную набивает на перфораторе серию карточек с закодированным контекстом.
- Запуск генерации: Запрос помещается в подающий лоток вычислительного комплекса.
- Получение ответа: Ответ «выбивается» на выходе карточным перфоратором или печатается на узкой бумажной ленте строчного принтера.
[Инженер] ──(Набивка карт)──► [Лоток ввода] ──► [Релейный вычислитель]
│
[Результат: Новая карта] ◄── (Перфорация) ──────────────┘
5. Главные проблемы и ограничение концепта
- Износ материала: При тысячекратном прогоне через считыватель бумажные перфокарты истирались, отверстия деформировались, что приводило к «галлюцинациям» системы из-за считывания ложных сигналов.
- Проблема «Зажеванного градиента»: Физическая поломка одной карты в середине батча могла остановить обучение на недели, пока операторы вручную восстанавливали пробитые данные.
И все же, даже в таких жестких ограничениях концепция обучения ИИ оставалась бы неизменной в своей основе: поиск математических закономерностей в огромных массивах информации. Просто вместо сияния пикселей монитора о работе искусственного разума сообщали бы ритмичный стук реле, шелест миллионов бумажных карточек и запах нагретого озона.
Share
