fbpx ...
Yandex DataLens
0
(0)

Введение

В статье описывается BI-сервис Yandex Datalens: 

  • Первая часть статьи предназначена для прочтения тем, кто хочет узнать о новых возможностях Datalens, появившихся в мае.
  • Вторая часть посвящена обзору платформы. Описываются: направленность платформы, решаемые задачи, архитектура.

Цель статьи — создать всеобъемлющее представление о сервисе, благодаря которому Вы сможете понять, подходит ли этот сервис для Вас.

1. Новые возможности платформы

Почему важно быть в курсе новых возможностей DataLens?

Yandex Datalens – очень молодой BI инструмент, относящийся к российским BI системам, который активно развивается. В условиях импортозамещения DataLens претендует на место Power BI от компании Майкрософт и его развитие заметно ускоряется. Привлекательность решения, помимо постоянного развития, состоит также и в бесплатности DataLens.

Новые фичи постоянно появляются, так что если вы не следите за обновлениями продукта, можете не увидеть возможности визуализации, которые заметно упростили бы построение нужного вам дашборда.

В данном разделе статьи мы будем публиковать список новых функций и, главное, описание того, какую ценность они представляют для пользователей. Дополняться раздел будет каждый календарный месяц.

Список новых функций, добавленных в мае

В ушедшем мае в Яндекс Даталенсе добавилось две важных для пользователей функции:

1. Параметры не в QL-чартах

Параметры позволяют пользователю указывать значения параметров виджета прямо с дашборда, не заходя в сам виджет. Ещё недавно в Datalens можно было использовать параметры только для QL-чартов (т.е. для чартов, созданных на основе SQL-запроса). В обычных виджетах такой возможности не было, хотя она часто была нужна для использовании в расчётных показателях. Появление данной фичи открывает разнообразные возможности визуализации. 

Примеры чартов (не QL) с использованием параметров представлены на дашборде по адресу: https://datalens.yandex/9fms9uae7ip02?tab=Zyd&state=3cba9358246

2. Порядок виджетов в мобильной версии

По умолчанию в Datalens порядок виджетов при отображении на мобильных устройствах задаётся «слева-направо, сверху-вниз». Теперь есть возможность поменять порядок отображения так, как вам удобно! Для этого нужно выбрать пункты: «Вкладки» — три точки на нужной вкладке — перетащить виджеты в нужном порядке — нажать «Применить»

Что ждём?

Один самых популярных запросов пользователей — возможность настраивать влияние виджетов друг на друга.

На конференции о планах Datalens было заявлено, что  эта возможность появится довольно скоро.

Следите за нашим блогом и будете в курсе появления этой и других новых фич Datalens.

2. Обзор платформы

2.1. Краткий обзор

Yandex Datalens — это бесплатный облачный инструмент анализа и визуализации данных (BI).

Возможности:

  • Self-service для быстрой проверки гипотез с помощью данных;
  • Визуализация на дашборде ключевых бизнес-метрик из разных источников напрямую;
  • Совместная работа с аналитикой внутри команды, с партнёрами или заказчиками

 

Посмотреть примеры работы в DataLens:
Преимущества  Yandex DataLens:

Позволяет реализовать комплексные задачи в едином контуре безопасности Yandex Cloud. Datalens интегрирован в популярные сервисы Яндекса.

Работает с разными источниками с возможностью объединения (CSV, ClickHouse, Greenplum, Postgress, MySQL, MS SQL, Oracle) в облаке или на ваших серверах.

Позволяет делиться графиками и дашбордами с командой или со всем интернетом, в том числе путём встраивания на сайты.

Datalens внесён в реестр отечественного ПО и соответствует российским и международным стандартам безопасности и обработки чувствительных данных.

Позволяет подключиться к источнику, построить график, собрать дашборд с нуля за несколько минут без специальной подготовки.

Без ограничений числа пользователей, сессий и объёма в источнике данных.

Всё, что нужно для начала работы:
1.) Открыть datalens.yandex.ru
Можно начать работу 35%
2.) Авторизоваться с помощью Яндекс ID
Можно начать работу 65%
3.) Активировать DataLens
Можно начать работу 100%

2.2. Концептуальная архитектура DataLens

Yandex Data Transfer,

Yandex DataProc,

YandexDataSphere,

Yandex Cloud Functions,

Yandex Managed Service for Apache Kafka,

3rd party ETL tools

Yandex managed Service for ClickHouse/

PostgreSQL /

Greenplum/

SQL Serverтм

Внешняя БД

2.3. Решаемые DataLens задачи

Универсальный BI-инструмент:

В отличие от традиционных onprem-решений, также отлично подходит для:

Быстрый selfservice-анализ и визуализация данных;

Дашборды для регулярного мониторинга бизнес-метрик.

Веб-аналитики и аналитики мобильного приложения;

Анализа результатов  машинного обучения;

Геоаналитики;

Публикации аналитики.

2.4. Подробный обзор возможностей DataLens

В данном разделе статьи DataLens оценивается по  определённым для BI систем критериям. Данный обзор поможет Вам разобраться, нужен ли Вам DataLens, будет ли данный инструмент решать Ваши задачи и насколько удобно им  пользоваться.

Оцениваются: технические особенности реализации, возможности визуализации, возможности загрузки данных, обмена отчётами и интеграции с др. сервисами, соответствие требованиям законодательства, возможности администрирования, удобство работы пользователя.

Технические особенности реализации

Инфраструктура. При работе с DataLens не нужно задумываться о выборе программного и аппаратного обеспечения, так как инструмент является частью Data Platform внутри экосистемы сервисов Yandex.Cloud. DataLens 100% облачное решение, которое соответствует актуальным требованиям и стандартам безопасности. Пользователям, администраторам и разработчикам необходим только веб-браузер.

Архитектура. Облачное решение SaaS, распределенное по 3 ЦОДам на территории РФ. Поскольку DataLens облачный, распределенный, высоконадежный сервис из коробки, – нет необходимости задумываться о технических особенностях внутренней реализации.

Отказоустойчивость. DataLens показывает свою надежность и стабильность даже на самых массовых сценариях публичного использования: статистика COVID, рейтинги оценок и актеров Kinopoisk и многие другие.

Возможности масштабирования. DataLens  очень масштабируемый сервис. Дневная аудитория DataLens 200-300 тыс. уникальных посетителей. Может принять ещё 1 млн. без перестройки архитектуры. Поэтому может  быть в облаке и при этом являться бесплатным

Создание Бэкапов. Создание Бэкапов осуществляется автоматически, все под капотом SaaS сервиса. Даже в случае пользовательской ошибки и удалении объектов— можно обратиться в техподдержку для восстановления

ETL. Стоит отметить, что у DataLens отсутствуют собственные ETL-инструменты, но инфраструктура Yandex Cloud предоставляет другие инструменты для ETL: Yandex Data Transfer, Yandex DataProc, Yandex DataSphere, Yandex Cloud Functions, Yandex Managed Service for Apache Kafka, Data Streams, Apache Airflow.

Материализация. Доступны два режима работы с источниками:

  •  прямой доступ к источникам (по умолчанию)
  • материализация (опционально, можно не включать этот режим) — предварительная выгрузка данных в хранилище DataLens с периодическим обновлением данных. При включённом режиме материализации данные, с которыми работает пользователь в DataLens, загружаются в БД ClickHouse. Запросы после загрузки данных идут к этой базе. 
Возможности визуализации

Виды визуализаций. Поддерживаемые виды визуализаций представлены ниже

 

 

Режимы Drill-Down, Drill-Up и Drill-Through. Можно создать иерархию и использовать её  для работы в режиме drilldown/drillup.  Drill-through: можно перейти на связанный отчет по ссылке. 

Возможности работы с показателями. В стандартные возможности входит выбор: типа данных, агрегации, формата (число/процент), размерности, префикса, постфикса для показателя (измерения). Стоит отметить положительный момент – показатель можно менять не только при формировании набора данных, а в любой момент работы. В DataLens есть конструктор вычисляемых полей, значительно расширяющий стандартные возможности cоздания показателей.  Также доступно написание SQL запросов при описании источника данных или для создания отдельных чартов, которые невозможно создать, используя стандартные типы виджетов (QL-чартов).

Кастомизация. Невозможна кастомизация стандартных виджетов, но возможно создание кастомных виджетов с помощью кастомных скриптов и библиотек на базе Yandex DataSphere.

Загрузка данных

Источники данных. Поддерживает эффективную работу с различными источниками данных напрямую: ClickHouse, CSV-файлы, PostgreSQL, MySQL, MS SQL Server, GreenPlum, Oracle, Google Sheets, YandexDatabase, Yandex Cloud Billing, Подкасты Аналитика, Yandex Metrica, Yandex AppMetrica.

Для интеграции данных можно использовать следующие инструменты Yandex.Cloud: Cloud Functions, Apache Airflow, DataTransfer, Data Proc, Message Queue, Data Streams, DataSphere

 

Возможности обмена отчётами и интеграции с другими сервисами

Экспорт и шеринг. Экспорт данных возможен в форматы: *.xls, *.csv, *.markdown.

API. Для платформы Yandex Cloud есть публичное API (документация доступна на сайте). В ближайшее время планируется создание API DataLens для автоматизированного описания чартов и считывания информации при обращении из внешних сервисов.  

Поддержка интеграции отдельных приложений, отчетов в существующие системы клиента. Есть возможность встраивания во внешние порталы (бесплатно), планируется осуществление возможности встраивания во внутренние защищённые порталы (за доп. оплату).

 
Администрирование

Навигация. Все объекты отчетности (Дашборды, Чарты, Датасеты, Подключения) размещаются в структуре каталогов. Каждый пользователь имеет личную папку и ограниченный доступ к общему контенту. При необходимости, можно скопировать общий объект к себе и доработать его в личном каталоге

Возможность поиска. Есть поиск, как по отдельным типам объектов, так и по всем

Поддержка командной разработки и системы контроля версий. Внутри DataLens поддерживается многопользовательская работа и разработка объектов отчетности. С точки зрения БД и сервисов интеграции — стандартные возможности соответствующих систем. Сохранение версий дашбордов отсутствует, но планируется в ближайшее время.

Разграничение прав доступа. Назначать права на объекты можно пользователям с Яндекс аккаунтом, добавленным в ваш бизнес-аккаунт, или можно создать ссылку на публичный доступ к дашборду, так что он будет доступен для просмотра по этой ссылке всем пользователям Интернета.

 
Соответствие требованиям законодательства

Включен в Единый Реестр российского ПО. Регистрация No 9286 от 20.02.2021

Сертификация ФСТЭК. Для сервисов Yandex.Cloud выполнены меры по защите персональных данных согласно Постановлению No1119 и 21 приказу ФСТЭК в соответствии с требованиями к1-му уровню защищенности (УЗ-1)

 

 Удобство работы пользователя

Комментирование. Комментарии можно оставлять в текстовых блоках и в соответствующих секциях на виджетах дашборда.

Мультиязычность. UI и вся документация  полностью поддерживают русский и английский языки.

Адаптивная верстка. Есть. По умолчанию все элементы выстраиваются по порядку: слева-направо, сверху-вниз

Функциональность на мобильных устройствах. Удобная работа благодаря адаптивной верстке. Специализированное мобильное приложение отсутствует

Документация. Есть публичная документация на русском и английском языках (Yandex DataLens | Yandex.Cloud — Документация).

Наличие цифровых ассистентов. Возможна реализация на платформе. Пример пошаговой инструкции телеграм-бота можно найти на официальном сайте

Комьюнити и курсыКомьюнити представлено в телеграм канале (https://t.me/YandexDataLens). Можно присоединиться и задать интересующий вопрос или найти ответ на свой вопрос поиском среди отвеченных. В этом же канале есть запись с полезными ссылками на обучающие ресурсы (https://t.me/YandexDataLens/12296  ).

2.5. Сильные и слабые стороны DataLens

Сильные стороны:

  • бесплатность; 
  • молодость инструмента — постоянное развитие функционала; 
  • простота освоения для обычных пользователей; 
  • увеличение количества возможностей за счёт интеграции с другими сервисами Yandex.Cloud; 
  • возможность создания показателей на любом этапе работы (не только при формировании датасета); 
  • высокая отказоустойчивость.

Слабые стороны

  • не форматируется под корпоративный стиль при встраивании в рабочую область заказчика; 
  • слабые возможности кастомизации; 
  • нет автосохранения.

2.6. Направления развития

Что в планах  DataLens?

Параметризация

– можно будет определять параметр обычного чарта
на уровне чарта и переопределять его значение с дашборда. Это изменение
значительно повышает возможности анализа, предоставляя пользователю
возможность прямо с дашборда указывать значение используемого в одном или
нескольких чартах параметра. Раньше такой функционал был доступен только в QL-чартах.

Упрощение user journey

– версионирование, позволяет сохранять версии
одного дашборда и видеть их историю;

API

– позволяет автоматизированно описывать чарты и
считывать информацию с них из внешних сервисов;

Интерактивность

– взаимное влияние
чартов (
очень востребованное!).

Новые типы визуализаций

Parentchild визуализация:
данные можно выстроить в определённой иерархии в соответствии с задачей;

Combo-чарт: cочитает несколько типов визуализаций на одном чарте; (сейчас уже есть возможность отображать
две оси y на одном графике)

Развитие коннекторов

– Битрикс24; Yandex DataSphere; Yandex Query

2.7. Положение на рынке BI

В чём заключаются преимущества DataLens по сравнению с другими BI системами?

 –  Для ответа на этот вопрос нужно провести сравнение DataLens с системами из 4-х секторов BI, существующих на современном рынке: лидеры рынка Enterprise, Opensource-проекты, Cloud-native-сервисы и Российские платформы.

Лидеры рынка Enterprise: Power BI, QlikView, Tableu. Богаче функционально, но это обусловлено в том числе долгим периодом существования. DataLens только 3 года и разработчики DataLens стараются перенимать опыт лидеров и не повторять их ошибок. Кроме того, стоит учитывать стоимость enterprise решений лидеров рынка.

Opensource-проекты:  Graphan, Metabase, Redash, Apache Superset. Бесплатно, но не коробочные – развёртывание (выбор сервера, ОС и др.) необходимо осуществлять самостоятельно. Не имеет фокуса на российский рынок.

Cloudnative-сервисы: Google Data Studio, Amazon QuickSight – близкие по духу к DataLens (SaaS), но также на английском.

Российские платформы: нуждаются во внедрении, часто с участием вендора. Могут стоить дороже даже чем иностранные Enterprise решения. Datalens может быть внедрён даже самим заказчиком.

 – Как видно из сопоставления основные преимущества DataLens: бесплатность, фокус на российский рынок простота в освоении и большие перспективы для развития. Можно сказать, DataLens является уникальным продуктом на российском рынке BI.

 

2.8. Вопросы пользователей и ответы разработчиков

Вопрос

Ответ

Почему инструмент бесплатный? 

Станет ли платным? 

— Поскольку  это часть платформы Яндекс Облако. Хорошая конверсия у Яндекс Облака позволяет оставить продукт бесплатным.

— Продукт не будет платным, но появятся платные дополнительные фичи, например, secure embedding – позволит встраивать дашборды на защищённые порталы, в личные кабинеты. Обычный embending уже есть и он бесплатен.

Как кэшируются данные? Где хранятся при материализации из CSV?

-Данные кэшируются и обновляются каждые 5 мин. (можно изменить временной интервал);

— Материализация происходит так: под DataLens есть БД ClickHouse, куда попадают загруженные данные. Запросы после загрузки данных при включённом режиме материализации идут к этой базе. Режим материализации – опция, которую можно не включать. Планируется изменить подход к материализации (пока неизвестно как именно).

Планируется ли  onpremise версия?

Нет. Планируется Opensource.

Для кого не подходит DataLens?

Кому нужен onpremise

кому нужна глубокая кастомизация (CSS).

Какие цели у DataLens?

1)Популяризировать аналитику 2) повысить доверие пользователей к облакам и работе в них с приватными данными 3) создать комьюнити

Является ли ClickHouse приоритетной БД для DataLens?

ClickHouse – входит в топ 3 по популярности при использовании с DataLens, но не является приоритетной БД.

Какие есть коннекторы?

Постоянно прорабатываются и появляются новые (некоторые перестают поддерживаться), сейчас прорабатывается коннектор к Битрикс.

Есть ли возможность связать данные из разных баз?

Виджеты можно строить на разных датасетах (из разных баз, соответственно); в QL-чарте можно делать запросы из разных баз;

на уровне датасета не планируется связь нескольких баз.

Есть ли обучающие курсы?

Ссылка на запись сообщества в Телеграме с полезными ссылками на обучающие ресурсы https://t.me/YandexDataLens/12296

3 курса: DataYoga, Нетология, Яндекс Практикум.

 

Заключение

Таким образом, благодаря представленной о Yandex DataLens  информации можно сделать вывод, что это очень простой в освоении бесплатный сервис для self-service аналитики. Несмотря на простоту его возможности постоянно развиваются.

Если Вам не нужны:

1) on-premise решение

2) глубокая кастомизация

3)  встраивание дашборда в корпоративный стиль портала

— Вам стоит попробовать DataLens.

Использованные источники

При написании статьи были использовались:

  • материалы с конференции Yandex DataLens для корпоративной аналитики и
  • данные Исследования «BI-круг Громова 2022»

Насколько интересной была статья?

Кликните на звезду, чтобы оценить статью

Средний рейтинг: 0 / 5. Оценок: 0

Оценок еще нет. Оцените, чтобы быть первым

Leave a Comment

Последние статьи

Visiology BI
Yandex DataLens
Visiology BI
Внедряем BI системы
Оптимизировано Серафинит - Акселератор
Включает высокую скорость сайта, чтобы быть привлекательным для людей и поисковых систем.