Глеб Зайцев Строки в SQL. 18 задач для чистки данных

Почему строки портят отчёты

В реальных данных ошибка часто выглядит как лишний пробел, разный регистр, дефис в телефоне или артикул с неожиданным префиксом.

Такие мелочи ломают группировку и соединения: один и тот же email превращается в две строки, а одинаковые товары не склеиваются по ключу.

Эта книга тренирует прикладную чистку строк: привести, найти, отрезать, заменить и проверить результат на маленьких понятных таблицах.

Что важно помнить

Строковые функции зависят от СУБД сильнее, чем базовый SELECT. Примеры здесь запускаются в SQLite, а при переносе в другую систему нужно сверить названия функций.

Нормализация не должна прятать плохие данные. Если строка стала красивой после replace, всё равно полезно знать, сколько таких исправлений было.

Перед автоматической чисткой сначала сделайте маленький отчёт: исходное значение, нормализованное значение и причина изменения.

Задача 1. Убрать пробелы вокруг email

Нужно привести email к аккуратному виду, если при вводе пользователь оставил пробелы в начале или конце строки.

CREATE TABLE clients(id INTEGER, email TEXT);

INSERT INTO clients VALUES

(1,' anna@example.test '),

(2,'oleg@example.test'),

(3,' nina@example.test');

SELECT id, trim(email) AS clean_email

FROM clients

ORDER BY id;

[[1, "anna@example.test"], [2, "oleg@example.test"], [3, "nina@example.test"]]

trim(email) убирает пробелы по краям строки.

Внутренняя часть email не меняется.

ORDER BY сохраняет понятный порядок клиентов.

trim не удаляет пробелы внутри строки. Если пробел стоит в середине email, нужна отдельная проверка качества.

Почему клиент 2 не изменился после trim, хотя функция применена ко всем строкам?

Ответ: У клиента 2 уже не было пробелов по краям email, поэтому результат совпал с исходной строкой.

Задача 2. Привести email к нижнему регистру

Нужно убрать различия регистра, чтобы одинаковые email не считались разными клиентами.

CREATE TABLE clients(id INTEGER, email TEXT);

INSERT INTO clients VALUES

(1,'Anna@Example.Test'),

(2,'oleg@example.test'),

(3,'NINA@EXAMPLE.TEST');

SELECT id, lower(email) AS normalized_email

FROM clients

ORDER BY id;

[[1, "anna@example.test"], [2, "oleg@example.test"], [3, "nina@example.test"]]

lower приводит буквы к нижнему регистру.

Уже нижний email остаётся без изменений.

Нормализованный email удобнее использовать как ключ.

Нормализация регистра полезна для email, но не каждое текстовое поле можно бездумно переводить в lower.

Почему lower помогает перед поиском дублей по email в клиентской базе?

Ответ: Так записи с разным регистром букв сравниваются как одно и то же значение.

Задача 3. Найти email с символом @

Нужно быстро отделить строки, которые хотя бы похожи на email, от явно неправильных значений.

CREATE TABLE contacts(id INTEGER, email TEXT);

INSERT INTO contacts VALUES

(1,'a@example.test'),

(2,'wrong-email'),

(3,'n@example.test'),

(4,'empty');

SELECT id, email

FROM contacts