В статье описывается BI-сервис Yandex Datalens.
Цель статьи — создать представление о сервисе бизнес-аналитики, благодаря которому Вы сможете понять, подходит ли он для решения ваших задач.
Основной акцент делается на направленность платформы, решаемые задачи и архитектуру.
Главная новость 23 года. Даталенс теперь доступен и как open source.
В конце сентября этого года BI система Yandex DataLens стала официально open source решением, то есть, ее исходный код размещен под открытой лицензией Apache 2.0, то есть, другими словами, она может быть скачена и система может быть доработана самостоятельно под нужды заказчика. Об этом написала команда разработки системы
Это дает будущим пользователям следующие возможности:
- размещение Яндекс Даталенс на собственных вычислительных мощностях,
- не оплачивать стоимость лицензий вендору-разработчику BI системы,
- дорабатывать систему под собственные нужды и встраивать в собственные продукты,
- создания кастомных решений,
- выбора между облачным (SaaS) решением, развернутым в Яндекс.Облако и локальной установкой системы.
Таким, образом BI система Datalens теперь доступна в двух вариантах:
- в виде облачной версии, размещенной с Яндекс.Облаке,
- как open source решение, которое вы можете разместить на собственных вычислительных мощностях и дорабатывать самостоятельно под текущие нужды.
Текущие ограничения DataLens в версии open source
На данный момент версия с открытым программным кодом имеет ряд значительных ограничений, которые точно не дают возможность использования системы в компаниях среднего и выше уровня. Отсутствует:
1. модуль администрирования пользователей и групп, что делает ее системой с одним пользователем,
2. разделение доступа к дашбордам и данным в разрезе пользователей,
3. авторизация пользователей, в частности, с помощью LDAP,
4. кросс-фильтрация (возможности фильтрации значений виджета при выборе элемента на другой виджете),
5. функция экспорт дашборда в PDF.
Дополнительно, источником данных может выступать только БД. То есть, файл, например, формата CSV, загрузить в систему не получится.
Таким образом, на данном этапе данную систему сложно всерьез рассматривать для решения задач бизнес-аналитики и требуется время для того, чтобы коллеги из Яндекса дополнили текущую версию недостающими элементами для полноценной работы.
Почему важно быть в курсе новых возможностей DataLens?
Важная ремарка: здесь и далее описание касается облачной версии Яндекс Даталенс.
Datalens – молодой BI инструмент, относящийся к российским BI системам, который активно развивается. В условиях импортозамещения данная система бизнес аналитики претендует на место Power BI от компании Майкрософт и его развитие заметно ускоряется. Привлекательность решения, помимо постоянного развития, состоит также и в бесплатности решения.
Новые фичи постоянно появляются, так что если вы не следите за обновлениями продукта, можете не увидеть возможности визуализации, которые заметно упростили бы построение нужного вам дашборда.
В данном разделе статьи мы будем публиковать список новых функций и, главное, описание того, какую ценность они представляют для пользователей. Дополняться раздел будет каждый календарный месяц.
Ограничения облачной версии DataLens
Один самых популярных запросов пользователей — возможность настраивать влияние виджетов друг на друга.
На конференции о планах Datalens было заявлено, что эта возможность появится довольно скоро, хотя на сентябрь 2023 года она так и не была реализована:)
Вторым, на наш взгляд, значимым недостатком сервиса является отсутствие возможности выгрузки дашбордов в PDF и PPT, поскольку конечным сценарием использования дашбордов является встраивание их в презентации.
Следите за нашим блогом и будете в курсе появления этой и других новых фич Datalens.
Обзор платформы
1. Краткий обзор
Yandex Datalens — это бесплатный облачный инструмент анализа и визуализации данных (BI).
Возможности:
- Self-service для быстрой проверки гипотез с помощью данных;
- Визуализация на дашборде ключевых бизнес-метрик из разных источников напрямую;
- Совместная работа с аналитикой внутри команды, с партнёрами или заказчиками
Посмотреть примеры работы можно здесь:
Преимущества DataLens:
Позволяет реализовать комплексные задачи в едином контуре безопасности Yandex Cloud. Datalens интегрирован в популярные сервисы Яндекса.
Работает с разными источниками с возможностью объединения (CSV, ClickHouse, Greenplum, Postgress, MySQL, MS SQL, Oracle) в облаке или на ваших серверах.
Позволяет делиться графиками и дашбордами с командой или со всем интернетом, в том числе путём встраивания на сайты.
Datalens внесён в реестр отечественного ПО и соответствует российским и международным стандартам безопасности и обработки чувствительных данных.
Позволяет подключиться к источнику, построить график, собрать дашборд с нуля за несколько минут без специальной подготовки.
Без ограничений числа пользователей, сессий и объёма в источнике данных.
Всё, что нужно для начала работы:
2. Концептуальная архитектура DataLens
Yandex Data Transfer, Yandex DataProc, YandexDataSphere, Yandex Cloud Functions, Yandex Managed Service for Apache Kafka, 3rd party ETL tools | Yandex managed Service for ClickHouse/ PostgreSQL / Greenplum/ SQL Serverтм … Внешняя БД |
3. Решаемые задачи
Универсальный BI-инструмент: | В отличие от традиционных on—prem-решений, также отлично подходит для: |
Быстрый self—service-анализ и визуализация данных; Дашборды для регулярного мониторинга бизнес-метрик. | Веб-аналитики и аналитики мобильного приложения; Анализа результатов машинного обучения; Геоаналитики; Публикации аналитики. |
4. Подробный обзор возможностей DataLens
В данном разделе статьи DataLens оценивается по определённым для BI систем критериям. Данный обзор поможет Вам разобраться, нужен ли Вам DataLens, будет ли данный инструмент решать Ваши задачи и насколько удобно им пользоваться.
Оцениваются: технические особенности реализации, возможности визуализации, возможности загрузки данных, обмена отчётами и интеграции с др. сервисами, соответствие требованиям законодательства, возможности администрирования, удобство работы пользователя.
Технические особенности реализации
Инфраструктура. При работе с DataLens не нужно задумываться о выборе программного и аппаратного обеспечения, так как инструмент является частью Data Platform внутри экосистемы сервисов Yandex.Cloud. DataLens 100% облачное решение, которое соответствует актуальным требованиям и стандартам безопасности. Пользователям, администраторам и разработчикам необходим только веб-браузер.
Архитектура. Облачное решение SaaS, распределенное по 3 ЦОДам на территории РФ. Поскольку DataLens облачный, распределенный, высоконадежный сервис из коробки, – нет необходимости задумываться о технических особенностях внутренней реализации.
Отказоустойчивость. DataLens показывает свою надежность и стабильность даже на самых массовых сценариях публичного использования: статистика COVID, рейтинги оценок и актеров Kinopoisk и многие другие.
Возможности масштабирования. DataLens очень масштабируемый сервис. Дневная аудитория DataLens 200-300 тыс. уникальных посетителей. Может принять ещё 1 млн. без перестройки архитектуры. Поэтому может быть в облаке и при этом являться бесплатным
Создание Бэкапов. Создание Бэкапов осуществляется автоматически, все под капотом SaaS сервиса. Даже в случае пользовательской ошибки и удалении объектов— можно обратиться в техподдержку для восстановления
ETL. Стоит отметить, что у DataLens отсутствуют собственные ETL-инструменты, но инфраструктура Yandex Cloud предоставляет другие инструменты для ETL: Data Transfer, DataProc, DataSphere, Cloud Functions, Managed Service for Apache Kafka, Data Streams, Apache Airflow.
Материализация. Доступны два режима работы с источниками:
- прямой доступ к источникам (по умолчанию)
- материализация (опционально, можно не включать этот режим) — предварительная выгрузка данных в хранилище DataLens с периодическим обновлением данных. При включённом режиме материализации данные, с которыми работает пользователь в DataLens, загружаются в БД ClickHouse. Запросы после загрузки данных идут к этой базе.
Возможности визуализации
Виды визуализаций. Поддерживаемые виды визуализаций представлены ниже
Режимы Drill-Down, Drill-Up и Drill-Through. Можно создать иерархию и использовать её для работы в режиме drill—down/drill—up. Drill-through: можно перейти на связанный отчет по ссылке.
Возможности работы с показателями. В стандартные возможности входит выбор: типа данных, агрегации, формата (число/процент), размерности, префикса, постфикса для показателя (измерения). Стоит отметить положительный момент – показатель можно менять не только при формировании набора данных, а в любой момент работы. В DataLens есть конструктор вычисляемых полей, значительно расширяющий стандартные возможности cоздания показателей. Также доступно написание SQL запросов при описании источника данных или для создания отдельных чартов, которые невозможно создать, используя стандартные типы виджетов (QL-чартов).
Кастомизация. Невозможна кастомизация стандартных виджетов, но возможно создание кастомных виджетов с помощью кастомных скриптов и библиотек на базе Yandex DataSphere.
Загрузка данных
Источники данных. Поддерживает эффективную работу с различными источниками данных напрямую: ClickHouse, CSV-файлы, PostgreSQL, MySQL, MS SQL Server, GreenPlum, Oracle, Google Sheets, YandexDatabase, Yandex Cloud Billing, Подкасты Аналитика, Yandex Metrica, Yandex AppMetrica.
Для интеграции данных можно использовать следующие инструменты Yandex.Cloud: Cloud Functions, Apache Airflow, DataTransfer, Data Proc, Message Queue, Data Streams, DataSphere
Возможности обмена отчётами и интеграции с другими сервисами
Экспорт и шеринг. Экспорт данных возможен в форматы: *.xls, *.csv, *.markdown.
API. Для платформы Yandex Cloud есть публичное API (документация доступна на сайте). В ближайшее время планируется создание API DataLens для автоматизированного описания чартов и считывания информации при обращении из внешних сервисов.
Поддержка интеграции отдельных приложений, отчетов в существующие системы клиента. Есть возможность встраивания во внешние порталы (бесплатно), планируется осуществление возможности встраивания во внутренние защищённые порталы (за доп. оплату).
Администрирование
Навигация. Все объекты отчетности (Дашборды, Чарты, Датасеты, Подключения) размещаются в структуре каталогов. Каждый пользователь имеет личную папку и ограниченный доступ к общему контенту. При необходимости, можно скопировать общий объект к себе и доработать его в личном каталоге
Возможность поиска. Есть поиск, как по отдельным типам объектов, так и по всем
Поддержка командной разработки и системы контроля версий. Внутри DataLens поддерживается многопользовательская работа и разработка объектов отчетности. С точки зрения БД и сервисов интеграции — стандартные возможности соответствующих систем. Сохранение версий дашбордов отсутствует, но планируется в ближайшее время.
Разграничение прав доступа. Назначать права на объекты можно пользователям с Яндекс аккаунтом, добавленным в ваш бизнес-аккаунт, или можно создать ссылку на публичный доступ к дашборду, так что он будет доступен для просмотра по этой ссылке всем пользователям Интернета.
Соответствие требованиям законодательства
Включен в Единый Реестр российского ПО. Регистрация No 9286 от 20.02.2021
Сертификация ФСТЭК. Для сервисов Yandex.Cloud выполнены меры по защите персональных данных согласно Постановлению No1119 и 21 приказу ФСТЭК в соответствии с требованиями к1-му уровню защищенности (УЗ-1)
Удобство работы пользователя
Комментирование. Комментарии можно оставлять в текстовых блоках и в соответствующих секциях на виджетах дашборда.
Мультиязычность. UI и вся документация полностью поддерживают русский и английский языки.
Адаптивная верстка. Есть. По умолчанию все элементы выстраиваются по порядку: слева-направо, сверху-вниз
Функциональность на мобильных устройствах. Удобная работа благодаря адаптивной верстке. Специализированное мобильное приложение отсутствует
Документация. Есть публичная документация на русском и английском языках (Yandex DataLens | Yandex.Cloud — Документация).
Наличие цифровых ассистентов. Возможна реализация на платформе. Пример пошаговой инструкции телеграм-бота можно найти на официальном сайте
Комьюнити и курсы. Комьюнити представлено в телеграм канале (https://t.me/YandexDataLens). Можно присоединиться и задать интересующий вопрос или найти ответ на свой вопрос поиском среди отвеченных. В этом же канале есть запись с полезными ссылками на обучающие ресурсы (https://t.me/YandexDataLens/12296 ).
5. Сильные и слабые стороны DataLens
Сильные стороны:
- бесплатность;
- постоянное развитие функционала;
- простота освоения для обычных пользователей;
- увеличение количества возможностей за счёт интеграции с другими сервисами Yandex.Cloud;
- возможность создания показателей на любом этапе работы (не только при формировании датасета);
- высокая отказоустойчивость.
Слабые стороны:
- не форматируется под корпоративный стиль при встраивании в рабочую область заказчика;
- слабые возможности кастомизации;
- нет автосохранения;
- отсутствие влияния виджетов друг на друга;
- отсутствие возможности выгрузки дашбордов в формат PDF и PPT.
6. Направления развития
Что в планах DataLens?
|
Параметризация |
– можно будет определять параметр обычного чарта |
|
Упрощение user journey |
– версионирование, позволяет сохранять версии |
|
API |
– позволяет автоматизированно описывать чарты и |
|
Интерактивность |
– взаимное влияние |
|
Новые типы визуализаций |
– Parent—child визуализация: – Combo-чарт: cочитает несколько типов визуализаций на одном чарте; (сейчас уже есть возможность отображать |
|
Развитие коннекторов |
– Битрикс24; Yandex DataSphere; Yandex Query |
Подробнее о новых функциональных возможностях Yandex DataLens читайте в нашей статье, где мы постоянно добавляем описание функций, поя
7. Положение на рынке BI
В чём заключаются преимущества DataLens по сравнению с другими BI системами?
– Для ответа на этот вопрос нужно провести сравнение DataLens с системами из 4-х секторов BI, существующих на современном рынке: лидеры рынка Enterprise, Opensource-проекты, Cloud-native-сервисы и Российские платформы.
Лидеры рынка Enterprise: Power BI, QlikView, Tableu. Богаче функционально, но это обусловлено в том числе долгим периодом существования. DataLens только 3 года и разработчики DataLens стараются перенимать опыт лидеров и не повторять их ошибок. Кроме того, стоит учитывать стоимость enterprise решений лидеров рынка.
Opensource-проекты: Graphan, Metabase, Redash, Apache Superset. Бесплатно, но не коробочные – развёртывание (выбор сервера, ОС и др.) необходимо осуществлять самостоятельно. Не имеет фокуса на российский рынок.
Cloud—native-сервисы: Google Data Studio, Amazon QuickSight – близкие по духу к DataLens (SaaS), но также на английском.
Российские платформы: нуждаются во внедрении, часто с участием вендора. Могут стоить дороже даже чем иностранные Enterprise решения. Datalens может быть внедрён даже самим заказчиком.
– Как видно из сопоставления основные преимущества DataLens: бесплатность, фокус на российский рынок простота в освоении и большие перспективы для развития. Можно сказать, DataLens является уникальным продуктом на российском рынке BI.
8. Вопросы пользователей и ответы разработчиков
Вопрос | Ответ |
Почему инструмент бесплатный? Станет ли платным? | — Поскольку это часть платформы Яндекс Облако. Хорошая конверсия у Яндекс Облака позволяет оставить продукт бесплатным. — Продукт не будет платным, но появятся платные дополнительные фичи, например, secure embedding – позволит встраивать дашборды на защищённые порталы, в личные кабинеты. Обычный embending уже есть и он бесплатен. |
Как кэшируются данные? Где хранятся при материализации из CSV? | -Данные кэшируются и обновляются каждые 5 мин. (можно изменить временной интервал); — Материализация происходит так: под DataLens есть БД ClickHouse, куда попадают загруженные данные. Запросы после загрузки данных при включённом режиме материализации идут к этой базе. Режим материализации – опция, которую можно не включать. Планируется изменить подход к материализации (пока неизвестно как именно). |
Планируется ли on—premise версия? | Нет. Планируется Opensource. |
Для кого не подходит DataLens? | Кому нужен on—premise; кому нужна глубокая кастомизация (CSS). |
Какие цели у DataLens? | 1)Популяризировать аналитику 2) повысить доверие пользователей к облакам и работе в них с приватными данными 3) создать комьюнити |
Является ли ClickHouse приоритетной БД для DataLens? | ClickHouse – входит в топ 3 по популярности при использовании с DataLens, но не является приоритетной БД. |
Какие есть коннекторы? | Постоянно прорабатываются и появляются новые (некоторые перестают поддерживаться), сейчас прорабатывается коннектор к Битрикс. |
Есть ли возможность связать данные из разных баз? | Виджеты можно строить на разных датасетах (из разных баз, соответственно); в QL-чарте можно делать запросы из разных баз; на уровне датасета не планируется связь нескольких баз. |
Есть ли обучающие курсы? | Существуют бесплатные обучающие ресурсы А, также, 3 платных курса: DataYoga, Нетология, Яндекс Практикум. |
Заключение
Таким образом, благодаря представленной о Yandex DataLens информации можно сделать вывод, что это простой в освоении бесплатный сервис для self-service аналитики. Несмотря на простоту его возможности постоянно развиваются.
Если вам не нужны:
1) глубокая визуальная кастомизация дашбордов,
3) встраивание дашбордов в корпоративный стиль портала.
То, однозначно, стоит попробовать DataLens.
Решили внедрить DataLens или есть вопросы для обсуждения? Заполните форму и мы оперативно свяжемся с вами.
Cвяжитесь напрямую с руководителем компании Люди и Технологии в Телеграме.
Контакты:
Кашеваров Илья
Telegram: https://t.me/Ilyakashevarov
Email: Написать Илье
Использованные источники
При написании статьи были использовались:
- материалы с конференции Yandex DataLens для корпоративной аналитики и
- данные Исследования «BI-круг Громова 2022»
Если вы заинтересованы в услуге по внедрению Yandex DataLens, то
