Разработка ETL и загрузка данных

Что входит

Проектируем ETL-процессы: извлечение, преобразование и загрузка данных из CRM, 1С, рекламных кабинетов и баз в хранилище (ClickHouse и др.) для последующей аналитики.

Ситуация типична для растущей компании: продажи в CRM, деньги в 1С, реклама в кабинетах площадок, а сводный отчёт собирается вручную в таблице. Каждый месяц повторяется одна и та же история — аналитик несколько дней выгружает и сводит данные, а на совещании выясняется, что цифры из двух источников не сходятся и обсуждение уходит в спор о том, какой отчёт правильный.

Сначала описываются источники: какие данные откуда берутся, с какой глубиной истории и как часто обновляются. Затем проектируется хранилище: структура таблиц, ключи связи, глубина хранения и правила сопоставления справочников. Дальше разрабатываются процессы загрузки с очисткой и приведением к единому формату, проверками на дубли и пропуски. Самая трудоёмкая часть — не техническая, а согласование бизнес-правил: что считать сделкой, с какого момента заказ учитывается в выручке, как обрабатывать возвраты.

На выходе появляется хранилище, которое наполняется по расписанию без ручных выгрузок, и единый источник цифр для отчётности. Подготовка отчёта перестаёт быть проектом на несколько дней, а споры о расхождениях уступают место обсуждению самих показателей.

Этапы работы

1. 01Инвентаризация источников данных
2. 02Проектирование схемы хранилища
3. 03Разработка пайплайнов загрузки
4. 04Контроль качества и расписание

Частые вопросы

Как строится работа?

Начинаем с инвентаризации источников и согласования перечня данных. Затем проектируем структуру хранилища и правила сопоставления справочников. Дальше разрабатываем процессы загрузки, настраиваем проверки качества и расписание запуска. Завершаем пилотной загрузкой с проверкой на исторических данных и передаём документацию по устройству хранилища.

Зачем хранилище, если отчёты и так собираются в таблицах?

Таблицы работают, пока источников мало и объём небольшой. Дальше начинаются проблемы: ручные выгрузки съедают время, история теряется, а любое изменение в источнике ломает формулы. Хранилище фиксирует данные один раз и по правилам, поэтому отчёт можно пересобрать за прошлый период и получить тот же результат.

С какими источниками вы работаете?

С теми, откуда данные можно забрать программно: CRM, 1С, рекламные кабинеты, базы данных, файловые выгрузки. Если у источника нет программного интерфейса, делаем загрузку из выгружаемых файлов по расписанию. Ограничения обычно связаны с политиками доступа: часть систем отдаёт данные только из доверенной сети, и доступ нужно согласовать заранее.

Что потребуется от вас?

Учётные записи для доступа к источникам и описание бизнес-правил: как считаются ключевые показатели, что делать с возвратами и дублями, какие справочники считать главными. Ещё нужен человек, который знает данные компании и может ответить, почему в двух системах одна и та же сделка выглядит по-разному.