MM / MARKETING / 352Аналитика

DWH: что это простыми словами и как работает

DWH это хранилище данных, но не всякая база им является. Разбираю простыми словами, что такое корпоративное хранилище, чем ETL отличается от ELT и в какой момент бизнесу оно становится нужно, а до этого только мешает.

Никита Морозов Никита Морозов·в маркетинге с 2017 года··читать 10 минут

Коротко

Коротко: DWH это корпоративное хранилище данных, куда стекаются цифры из всех систем компании и откуда их удобно анализировать. Внутри данные приводятся к одному виду, чтобы отчёты из разных источников можно было сводить без ручной склейки. Простая база хранит данные одного сервиса, а DWH собирает всё вместе: продажи, рекламу, сайт, склад. Нужен он не каждому, а с определённого масштаба. Дальше разбираю, как он устроен и когда в нём появляется смысл.

РАЗДЕЛ 01DWH: что это простыми словами

DWH расшифровывается как data warehouse, то есть хранилище данных. Это центральное место, куда компания собирает цифры из всех своих систем, чтобы потом строить на них единые отчёты.

Представьте, что данные лежат по разным шкафам. Продажи в одной программе, реклама в кабинетах, сайт в аналитике, склад в учётной системе. Каждый шкаф говорит на своём языке, и чтобы ответить на простой вопрос, вы вручную склеиваете выгрузки. DWH это общий склад, куда всё свозится и раскладывается по единым правилам.

После этого отчёт, на который раньше уходил день, собирается за минуты. И главное, все видят одни и те же цифры, а не три версии одной правды.

DWH и двх: это одно и то же

Да, двх это просто русская транслитерация той же аббревиатуры. В разговоре говорят и dwh, и двх, и хранилище данных. Смысл один: центральное место для аналитики.

РАЗДЕЛ 02Зачем бизнесу хранилище данных

Хранилище решает одну главную проблему: данные разрознены, а решения требуют общей картины. Пока систем две-три, хватает ручной склейки. Когда их десять, ручная работа съедает время и плодит ошибки.

Вторая причина это скорость отчётов. Сотрудник не ждёт, пока аналитик соберёт выгрузку за неделю. Он открывает готовый отчёт и видит актуальные цифры. Решения принимаются быстрее, а не раз в месяц по итогам долгой сводки.

Третья причина это единая правда. Когда отдел продаж считает выручку по одной методике, а маркетинг по другой, споры о цифрах бесконечны. Хранилище фиксирует единые правила, и все смотрят на одно число.

Ещё хранилище нужно, когда в компании несколько отделов, и каждый смотрит на свои цифры. Финансы считают выручку, маркетинг заявки, продажи сделки. Без единого места эти цифры не сходятся, и споры о том, кто виноват, заменяют работу. Хранилище сводит всех на один источник.

РАЗДЕЛ 03Чем DWH отличается от обычной базы

Обычная база создана под работу конкретного сервиса: быстро записывать заказы, менять статусы, выдавать данные на сайт. Она заточена под операции, а не под анализ.

Хранилище заточено под отчёты. Данные в нём хранятся в удобном для анализа виде, накапливаются за долгие периоды и не меняются задним числом. Туда можно спокойно строить сложные запросы, не боясь положить боевую систему.

Листайте вбок

КритерийОбычная базаDWH
Задачатекущие операциианализ и отчёты
Данныеодного сервисаиз всех систем сразу
Периодсвежие записиистория за годы
Нагрузкаобслуживает сайтобслуживает аналитиков

Поэтому нельзя просто взять базу сайта и назвать её хранилищем. Это разные инструменты под разные задачи.

РАЗДЕЛ 04Как устроено DWH: источники, слои, витрины

Внутри хранилище устроено слоями, и каждый слой выполняет свою роль.

Сначала идут источники. Это всё, откуда берутся данные: сайт, рекламные кабинеты, CRM, учётная система, склад. Каждый источник отдаёт сырые данные в своём формате.

Дальше слой загрузки и очистки. Здесь сырые данные приводятся к общему виду: исправляются ошибки, выравниваются названия, убираются дубли. Это самая трудоёмкая часть.

Потом слой хранения. Это уже чистые данные, разложенные по единым правилам, готовые к отчётам. И сверху витрины: готовые наборы под конкретные задачи, например витрина по продажам или по рекламе.

Такое деление нужно, чтобы ошибка в одном источнике не сломала все отчёты, а чинилась в одном месте.

Ещё в хранилище важен порядок с историей. Обычная база перезаписывает записи, а хранилище сохраняет прошлые состояния. Это позволяет видеть и текущую картинку, и то, как цифры менялись по месяцам.

РАЗДЕЛ 05ETL и ELT: в чём разница

ETL и ELT это два подхода к тому, как данные попадают в хранилище. Буквы значат extract, transform, load: извлечь, преобразовать, загрузить.

В классическом ETL данные сначала извлекают из источника, потом преобразуют на отдельном сервере и только после этого загружают в хранилище. Порядок такой: извлечь, преобразовать, загрузить.

В ELT порядок меняется: данные сначала извлекают и загружают в хранилище как есть, а преобразуют уже внутри него. Порядок: извлечь, загрузить, преобразовать.

Разница практическая. ELT удобен, когда хранилище облачное и мощное, потому что преобразования выполняются там, где данные уже лежат. ETL чаще встречается в старых системах. Для бизнеса суть одна: данные должны прийти к единому виду, а каким путём, решает архитектор.

Отчёт по целям в Яндекс Метрике с визитами и доходом
РИС. 01Отчёт по целям в Яндекс Метрике с визитами и доходом

РАЗДЕЛ 06Какие отчёты бизнес получает из DWH

Хранилище само по себе ничего не показывает, пока на нём не построены отчёты. Вот что чаще всего нужно бизнесу.

Сводка по выручке и прибыли в разрезе каналов. Вы видите, сколько принёс каждый канал, а не просто сколько потратили. Связка рекламы и продаж в одном отчёте это то, ради чего хранилище и строят.

Отчёт по поведению клиентов. Кто покупает повторно, кто пришёл и пропал, какой средний чек по сегментам. Эти данные обычно лежат в CRM, но удобно сводить их с маркетингом в одном месте.

Операционные отчёты. Остатки на складе, скорость обработки заказов, загрузка сотрудников. Здесь хранилище помогает управлять процессами, а не только продажами.

Главное правило: сначала определите, какие вопросы важны, потом стройте данные под них. Хранилище ради хранилища это дорогая игрушка.

Отдельно важно, чтобы отчёты обновлялись сами. Если после внедрения хранилища кто-то по-прежнему вручную выгружает файлы, значит, вы построили дорогую копию базы, а не аналитику. Настоящая ценность в том, что цифры приезжают в отчёт сами, по расписанию.

РАЗДЕЛ 07Как внедрить DWH и сколько это стоит

Внедрение идёт от простого к сложному, и начинать нужно не с покупки железок, а со списка вопросов.

Сначала формулируете, какие отчёты вам нужны. Потом собираете список источников данных. Потом решаете, где будет жить хранилище: в облаке или на своём сервере. И только потом строите загрузку данных и отчёты.

Цена зависит от объёма данных и числа источников. Маленькое облачное хранилище под несколько систем обходится заметно дешевле, чем собственный сервер с командой поддержки. Точную цифру считают под конкретный проект.

Для большинства малых бизнесов полноценный DWH это избыточно. Часто хватает дашборда, который собирает цифры из нескольких источников без отдельного хранилища. Про то, как собрать цифры в одном месте, я писал в статье про дашборды.

РАЗДЕЛ 08Облачное и своё хранилище: что выбрать

Хранилище можно развернуть в облаке или на собственном сервере, и у каждого варианта свой смысл.

Облачное хранилище это аренда готового сервиса. Вы платите за объём и мощность, не покупаете железо и не держите команду поддержки. Настроить можно быстрее, и это разумный старт для бизнеса, который только начинает собирать данные.

Своё хранилище на собственном сервере даёт полный контроль над данными и не зависит от чужой инфраструктуры. Это оправдано, когда данные чувствительные, объёмы большие, а требования к безопасности высокие.

Для большинства бизнесов облако проще и дешевле на старте. Своё железо подключают, когда объёмы и требования вырастают настолько, что аренда перестаёт быть выгодной.

Целевые визиты из поиска и доход по цели в Метрике
РИС. 02Целевые визиты из поиска и доход по цели в Метрике

РАЗДЕЛ 09Когда хранилище ещё не нужно

Честный вопрос: нужен ли вам DWH прямо сейчас. В большинстве случаев нет, и вот почему.

Если у вас две-три системы и данные сводятся вручную за час, хранилище не окупится. Стоимость внедрения и поддержки перекроет выгоду от экономии часа в неделю.

Если отчёты нужны редко, раз в квартал, тоже рано. Хранилище окупается там, где аналитика нужна ежедневно и влияет на решения. Редкие сводки проще делать вручную.

Если данных мало, хватит простого инструмента визуализации. Тот же Power BI собирает цифры из нескольких источников в наглядные отчёты без полноценного хранилища. Про это есть материал про Power BI для маркетинга.

РАЗДЕЛ 10Типичные ошибки при внедрении DWH

Чаще всего хранилище проваливается не из-за техники, а из-за подхода. Вот типовые ошибки.

Первая это строить хранилище без списка вопросов. Сначала решают, что нужен DWH, потом думают, что в нём считать. В итоге получается дорогая база, которой никто не пользуется. Порядок должен быть обратным: вопросы, потом данные.

Вторая ошибка это пытаться собрать всё сразу. Начинают тянуть данные из десятка систем, проект растягивается на месяцы, а результата нет. Правильно начать с одного-двух источников и первого отчёта.

Третья ошибка это игнорировать качество данных. Если в CRM мусор, хранилище красиво этот мусор разложит по полкам. Сначала наводят порядок в источниках, потом строят хранилище.

РАЗДЕЛ 11DWH и маркетинговая аналитика

Для меня хранилище интересно в связке с рекламой. Оно позволяет ответить на вопрос, который обычный кабинет не отвечает: что принесли деньги, а не что показали клики.

Без хранилища вы видите расход и заявки по каждому каналу отдельно. С хранилищем вы связываете заявку с продажей и видите, какой канал реально окупается. Это меняет решения: вы перестаёте лить бюджет в канал, который красиво выглядит в отчёте, но не даёт продаж.

Полную картину по связке рекламы и продаж я разбирал в статье про сквозную аналитику. DWH это более глубокий слой той же задачи: когда простых инструментов уже не хватает.

Практический ориентир такой: пока вам хватает отчёта из кабинета и выгрузки из CRM, хранилище не нужно. Оно появляется, когда ответы на вопросы требуют склейки трёх и более систем на постоянной основе.

РАЗДЕЛ 12FAQ

Что такое DWH простыми словами

Это центральное хранилище данных, куда стекаются цифры из всех систем компании. Там они приводятся к единому виду, чтобы по ним можно было строить общие отчёты.

Чем DWH отличается от обычной базы данных

Обычная база обслуживает работу одного сервиса и хранит свежие записи. DWH собирает данные из всех систем и хранит историю за годы для анализа. Это разные инструменты.

Что значит ETL и ELT

Это два способа доставки данных в хранилище. В ETL данные сначала преобразуют, потом загружают. В ELT сначала загружают, потом преобразуют. Буквы значат извлечь, преобразовать, загрузить.

Что такое корпоративное хранилище данных

Это то же самое, что DWH: единое место, где компания хранит данные для аналитики. Корпоративным его называют, когда оно обслуживает всю компанию, а не один отдел.

Когда бизнесу пора строить DWH

Когда систем стало много, отчёты нужны ежедневно, а ручная склейка занимает дни. До этого чаще хватает дашборда или простого инструмента визуализации.

Сколько стоит хранилище данных

Цена зависит от объёма данных и числа источников. Облачное хранилище под несколько систем дешевле собственного сервера с командой. Точную цифру считают под проект.

Можно ли обойтись без DWH в малом бизнесе

Можно и нужно. Двух-трёх систем хватает для ручной сводки или простого дашборда. Хранилище окупается на масштабе, где аналитика влияет на решения каждый день.

Что такое DWH в аналитике

В аналитике DWH это слой, куда собираются сырые данные из всех источников, очищаются и хранятся в едином виде. На нём строятся отчёты и дашборды, поэтому он считается фундаментом серьёзной аналитики.

РАЗДЕЛ 13С чего начать

Порядок такой, чтобы не построить дорогую игрушку вместо реально работающей аналитики.

  1. Запишите вопросы, на которые хотите отвечать по цифрам.
  2. Составьте список систем, где лежат данные.
  3. Оцените, сколько времени уходит на ручную сводку.
  4. Если ручной работы много, начните с дашборда, а не с полноценного DWH.
  5. К хранилищу переходите, когда дашборд упрётся в потолок.

Пришлите список своих систем, скажу, нужен ли вам DWH или пока хватит дашборда, и с чего начать.

Никита Морозов

Никита Морозов

Яндекс Директ, SEO, маркетинг под ключ

Веду кабинеты клиентов сам, без передачи «младшему специалисту». Тексты на сайте написаны по тому, что вижу в отчётах, а не по чужим гайдам.

9лет в нише
200+проектов
4,919 оценок на Картах

MM / MARKETING / разбор

Разберу, как собрать данные вашего бизнеса в одно место

Присылаете, какие системы у вас есть: сайт, реклама, CRM, касса. Скажу, нужен ли вам полноценный DWH или пока хватит простого дашборда, и что собирать в первую очередь.

  • 01Аудит источников данных
  • 02План от дашборда до DWH
  • 03Что считать в первую очередь
  • 04Без обязательств

Нажмите красный кружок: так я отсекаю ботов

Проверка пройдена

Пишите в Telegram @The_nickson или WhatsApp +7 977 549-42-98.

Заявка принята. Напишу в рабочее время: Пн-Пт 9:00-19:00 по Москве.
Расчёт медиаплана бесплатноСколько заявок даст ваш бюджет