The post has been translated automatically. Original language: Russian
Topic
To change the database schema on an empty project is one line. Changing it on a running service with live users is a separate task, where an error costs several minutes of unavailability or lost data.
What is dangerous on large tables
Adding a column with a default value. In older versions of the DBMS, this is a rewrite of the entire table under lock. New ones are often safe, but you need to check your version.
Creating an index in the usual way. The table is locked for writing until the end of the operation. Almost everywhere there is an option with parallel construction, and it is needed.
Changing the column type. As a rule, it means a complete rewrite of the data.
Deleting or renaming a column at the same time as the code is being deployed. At the time of the rollout, some instances are running on the old version and accessing what is no longer there.
The fourth point is the most underestimated. The problem is not the migration itself, but the fact that the code and schema are not changing at the same time.
A multi-step deployment scheme
To rename a column, the sequence looks like this.
Add a new column without deleting anything.
Embed code that writes to both places and reads from the old one.
Fill in a new column for existing rows in batches rather than a single query.
Switch the reading to a new column and make sure everything is working.
Stop writing to the old one and only then delete it, in a separate release.
Five steps instead of one, but at each stage you can roll back and at no point is there an incompatibility between the code and the schema.
Rules that save nerves
Fill in data with batch files with pauses. One UPDATE of ten million rows creates a long transaction, bloats the log and interferes with the rest of the requests.
Set the timeout to lock. Migrations that couldn't take the lock quickly should drop instead of queuing up and stopping all traffic.
Check migration against copies of real data. On a test database of thousands of lines, everything is always fast.
Keep migrations reversible where possible, and know the rollback plan in advance if not.
Do not combine schema changes and logic changes in one release. If there is a problem, it will be unclear what to roll back.
The main thing
Secure migration is not about tricky SQL, but about the fact that the schema and code are always compatible in both directions. Once this condition is met, the deployment ceases to be an event that the team prepares for in the evening after the traffic.
Do you do migrations during business hours or still at night?
Тема
Изменить схему базы на пустом проекте это одна строка. Изменить её на работающем сервисе с живыми пользователями это отдельная задача, где ошибка стоит нескольких минут недоступности или потерянных данных.
Что опасно на больших таблицах
Добавление колонки со значением по умолчанию. В старых версиях СУБД это перезапись всей таблицы под блокировкой. В новых часто безопасно, но проверять нужно именно свою версию.
Создание индекса обычным способом. Таблица блокируется на запись до конца операции. Почти везде есть вариант с параллельным построением, он и нужен.
Изменение типа колонки. Как правило означает полную перезапись данных.
Удаление или переименование колонки одновременно с деплоем кода. В момент раскатки часть инстансов работает на старой версии и обращается к тому, чего уже нет.
Четвёртый пункт самый недооценённый. Проблема не в самой миграции, а в том, что код и схема меняются не одновременно.
Схема развёртывания в несколько шагов
Для переименования колонки последовательность выглядит так.
Добавить новую колонку, ничего не удаляя.
Задеплоить код, который пишет в оба места и читает из старого.
Заполнить новую колонку для существующих строк пачками, а не одним запросом.
Переключить чтение на новую колонку и убедиться, что всё работает.
Прекратить запись в старую и только после этого удалить её, отдельным релизом.
Пять шагов вместо одного, зато на каждом этапе можно откатиться и ни в один момент нет несовместимости между кодом и схемой.
Правила, которые экономят нервы
Заполнять данные батчами с паузами. Один UPDATE на десять миллионов строк создаёт длинную транзакцию, раздувает журнал и мешает остальным запросам.
Ставить таймаут на блокировку. Миграция, которая не смогла быстро взять блокировку, должна упасть, а не встать в очередь и остановить весь трафик.
Проверять миграцию на копии реальных данных. На тестовой базе из тысячи строк всё быстро всегда.
Держать миграции обратимыми там, где это возможно, и заранее знать план откага, если нет.
Не совмещать в одном релизе изменение схемы и изменение логики. При проблеме будет непонятно, что откатывать.
Главное
Безопасная миграция это не про хитрый SQL, а про то, что схема и код всегда совместимы в обе стороны. Как только это условие соблюдено, деплой перестаёт быть событием, к которому команда готовится вечером после трафика.
А вы делаете миграции в рабочее время или всё ещё по ночам?
Share
