Как повысить ценность решения при помощи системы бизнес-аналитики BI?

В конце февраля 22 года в нашу компанию Techpeople обратился один из ведущих разработчиков решения по распознаванию лиц, который ведет свою деятельность не только на российском, но и международных рынках. Назовем ее компанией QL:)

В свою очередь, компания QL получила запрос от одного из своих клиентов-собственника нескольких торговых центров в Москве.

Запрос состоял в следующем: собственник  не был уверен в эффективности затрат на маркетинг для привлечения посетителей торгового центра и хотел оценить эффективность используемых каналов.

Интересы компании QL представлял Менеджер по продукту, назовем его Валентин:)

На верхнем уровне целями проекта являлось:

• создание аналитического инструмента для использования отделом маркетинга собственника торгового центра. Требовался анализ трафика посетителей: пола, возраста, загрузки посещаемости и изучения эффективности их каналов привлечения.

Кроме того, разработчик решил предоставить доступ к этому инструменту арендаторам на собственных условиях, чтобы повысить эффективность их продаж и привлекательность торгового центра, в котором они располагаются.

Как планировали ее достичь:

— проанализировать текущие данные, доступные в системе распознавания  и представить их в новых срезах собственнику торгового центра (Арендодателю),

—  визуализировать новые срезы данных в системе бизнес-аналитики BI в виде дашбордов Арендодателя,

— дополнить данные из API системы распознавания данными, получаемыми от арендаторов, то есть, их систем и также представить их в виде дашбордов Арендатора.

Политический фон:

Паралелльно с переговорами, включающими оценку стоимости и сроков реализации проекта стремительно разворачивались боевые действия на Украине и один за одним продавцы одежды и иных товаров, например, строительных,  начали озвучивать свои решения об уходе с российского рынка.

Параллельно с исходом продавцов произошло снижение покупательского спроса по причине шока от происходящего, в связи с чем рынок аренды в Retail начал переживать сложные времена.

Уход и падение спроса затронуло как арендаторов, так и арендодателей, поскольку они тесно связаны друг с другом.

Арендаторы обеспокоились собственными продажами, а арендодатели количеством арендаторов в своих торговых помещениях, поскольку принцип «нет продаж-нет бизнеса» никто не отменял.

У компании QL уже были установлены камеры в одном из ведущих торговых центров Москвы, собственник которого собирал данные по посетителям, доступ к которым осуществляется через API.

Получив ТЗ на разработку аналитической системы на базе системы BI, мы отправились подбирать подходящие инструменты для реализации задач Проекта.

Цели проекта подробнее:

Создание аналитического инструментов для собственника и арендаторов торговых площадей на основании данных о трафике посетителей торгового центра в виде дашбордов.

Источник данных- API платформы видеоаналитики QL.

Аналитический инструмент должен решать следующие задачи:

Задачи собственника:

-оценить эффективности каналов привлечения посетителей ТЦ за счет глубокого анализа трафика посетителей с учетом персонала торгового центр и определения уникальных и новых посетителей за интересующий период времени.

Задачи арендаторов:

— получить глубокую аналитику по посетителям, включая, уникальных и новых посетителей за интересующие периоды, а также определение принадлежности к семьям (группам посетителей)

— получить аналитику по посетителям в разрезе следующих измерений:

Пол, возраст, дни недели (будни, выходные, праздники), времени дня.

-рассчитать конверсии посетителей в продажи,

— рассчитать ключевых показателей эффективности (KPI) персонала,

— планировать ресурсы для оптимальной загрузки персонала

— оценивать эффективность маркетинговых кампаний

Сроки  на реализацию проекта: 29 дней

Выбор технологического стека:

Изначально в качестве инструмента для реализации проекта была выбрана система бизнес-анилитики Power BI, но, поскольку возникли ограничения в плане приобретения и использования лицензий и возросшим рискам при использовании западного ПО, было решено рассмотреть российские BI системы силу политических причин

Даталенс: недорого и быстрая разработка

С учетом сжатых сроков реализации Проекта, а также планируемого «большого количества данных» за основу были выбраны следующие технологии:

1. Yandex DataLens

Yandex DataLens  — полностью облачный BI-сервис от Yandex Cloud, дочерней компании «Яндекс». Особенность сервиса в том, что в личных целях  его можно использовать бесплатно. Платить нужно только за серверные мощности Яндекс облака, если вы захотите приобрести корпоративный аккаунт. Основная область DataLens – self-service аналитика, т. е. простая аналитика для бизнес-пользователей.

2. ClickHouse

ClickHouse — высокопроизводительная аналитическая колоночная СУБД с открытым исходным кодом от Yandex Cloud.

Особенности системы: высокая скорость ответа на запросы к данным, обновляемым в реальном времени; масштабируемость. Используется в различных сервисах Яндекса, в т.ч. в DataLens при включении режима материализации (в таком случае все данные, с которыми работает пользователь в DataLens, загружаются в БД ClickHouse). В качестве инструмента хранения данных вместе с DataLens можно было использовать другую БД, но для проекта был выбран именно ClickHouse за счёт его преимуществ.

Все представленные сервисы предоставляются Yandex Cloud и соответствуют требованиям международных и национальных стандартов безопасности ISO, GDPR, PCI DSS и ГОСТ Р 57580. Соответствие 152-ФЗ на высшем уровне защищенности (УЗ-1) подтверждено аттестатом.

ClickHouse обеспечила требуемую скорость, масштабируемость, а также оптимизацию размеров хранения данных.

Python как инструмент извлечения и загрузки данных

Поставщиком данных являлся сервис видеоаналитики QL.

QL- Основанная в 2015 году, компания, которая приобрела обширный опыт в области искусственного интеллекта. В наших инновационных программных продуктах мы используем возможности нейронных сетей и машинного обучения для анализа видеоконтента. Алгоритмы QL неоднократно доказывали свое превосходство в независимых соревнованиях и тестах, включая конкурс NIST

4. Технические трудности- Решение:  

При решении технических трудностей активно использовались документация DataLens и чат поддержки Yandex DataLens в Телеграме.

1. Первая трудность, с которой приходится сталкиваться в начале построения дашборда в любом проекте – выбор источника. Источники для чартов постоянно меняются в течение проекта. В DataLensкаждый датасет привязывается к чарту (не к дашборду). С одной стороны, это удобно, так как позволяет ускорить разработку чартов в начале проекта, позволяя не продумывать заранее структуру датасета чтобы он подходил для всех чартов. С другой стороны, это неудобно, так как нужно потом перепривязывать каждый чарт на вкладке дашборда к одному единственному датасету, чтобы фильтры вкладки оказывали влияние на все расположенные на ней чарты (т. к. значения фильтров выбираются на основе датасета и действуют только на созданные из того же датасета чарты). В итоге, когда структура данных стала понятна, было принято решение выгрузить таблицу в БД ClickHouse, создать к ней подключение и установить получившийся датасет источником для всех чартов, обновляя таблицу непосредственно в ClickHouseпри необходимости. Это позволило не загружать новые CSV и Excel файлы после каждого изменения источника, так как датасет для всех чартов стал обновляться автоматически при обновлении таблицы в ClickHouse.
2. После загрузки таблицы в ClickHouseпоявилась необходимость добавить информацию о праздничных днях. Можно было бы изменить данные в таблице, но праздничные дни каждый год разные. Удобно было бы иметь возможность указывать их в справочнике.  DataLensможет решить эту задачу, т.к. позволяет связать несколько таблиц источников по полю. Таким образом, связав несколько таблиц по полю дата, мы добавили к датасету данные из таблицы праздничных дней, с которыми можно проводить дальнейшие манипуляции и использовать в качестве значения для фильтра (см. рисунок).
3.  
4. Рисунок 1. Связь таблиц источников

3. На некоторых чартах необходимо было обеспечить возможность выбора временного шага чтобы пользователь мог с дашборда изучать данные в разрезах: год-квартал-месяц-неделя-день-минута. Данные разрезы были получены с помощью иерархии DataLens. Иерархии позволяют выбирать порядок отображения данных. В нашем случае сначала отображаются данные за год, затем за квартал и далее до минуты, но можно было бы настроить другой порядок.
4. Использование QL-чартов: некоторые виджеты невозможно было создать стандартными средствами. QL-чарты позволяют использовать SQL для генерации данных чарта, позволяя реализовать практически любой виджет. Все нестандартные виджеты проекта созданы с помощью QL-чартов. Возможность использования параметров в DataLensпозволила создать QL-чарты, в которых пользователь может указывать значения определённых параметров чарта прямо с дашборда, не заходя в чарт.

Пример непростой задачи:

Одна из задач в проекте – выявление новых посетителей из уникальных. В задаче сначала нужно найти уникальных посетителей за каждый день, а затем динамически выявлять новых из уникальных в задаваемом пользователем интервале.

Решение:

Для выявления уникальных посетителей используется скрипт Python, который берёт первую запись по каждому посетителю в определённый день и указывает в новом столбце, что это уникальная запись. Для динамического вычисления новых посетителей из уникальных использован SQL-скрипт в QL-чарте, позволяющий найти множество посетителей, не принадлежащее старому интервалу, но присутствующее в новом. При этом временные ограничения старого и нового интервалов задаются пользователем с дашборда с помощью уже упомянутых параметров.

7. Примеры дашбордов: