Содержание статьи:
Почему важно быть в курсе новых возможностей и новостей DataLens?
Yandex Datalens – молодой российский BI инструмент, который активно развивается. В условиях импортозамещения развитие DataLens заметно ускоряется и он становится одним из претендентов на место Power BI. Привлекательность DataLens, помимо его постоянного развития, состоит также в возможности его бесплатного использования.
В DataLens постоянно появляются новые фичи, так что если вы не следите за обновлениями продукта, можете не увидеть возможности визуализации, которые заметно упростили бы построение нужного вам дашборда. Также Яндекс развивает комьюнити, проводит интересные мероприятия по продукту. Выходят курсы, статьи и книги, посвящённые работе с DataLens. Если Вы уже заинтересовались продуктом, пропустить всё это просто не допустимо!!
В данной статье мы будем публиковать список новостей о DataLens, новые функции и возможности этого продукта и, главное — описание, какую ценность они представляют для пользователей. Статья будет дополняться каждый календарный месяц.
Главная новость 2023 года
🚀 Яндекса DataLens — теперь опенсорс BI платформа
В конце сентября разработчики Yandex DataLens опубликовали на GitHub под открытой лицензией Apache 2.0, что позволяет:
- компаниям использовать его локально в собственной инфраструктуре и дорабатывать для своих нужд параллельно с разработчиками решения,
- получить решение как альтернативу BI платформе Apache Superset и не опасаться за трудности в использовании западного программного обеспечения.
Найти код Yandex DataLens вы можете на GitHub найти по ссылке: Код Яндекс Даталенс
Новые функции/новости июля 2023
1. Как создать максимально быстрый дашборд на основе таблицы из 150 миллионов строк
Внутри Яндекса используются дашборды и продуктовые подходы к созданию системы отчётности. Опыт и истории клиентов Яндекса показали, что одна из наиболее частых проблем при использовании дашборда — загрузка данных за десятки секунд, а то и больше.
В новой статье на Хабре BI-евангелист Yandex DataLens Роман Бунин вместе с архитектором Yandex Cloud Игорем Путятиным расскажут, как Yandex DataLens и ClickHouse помогают создавать супербыстрые дашборды.
Рекомендации экспертов и пример настройки дашборда — по ссылке.
2.📊 Выкатили настройку расположения подписи!
— Для столбчатых и линейчатых диаграмм: с группировкой и без;
— Изменить поведение можно в настройках подписи;
— Для новых чартов подпись теперь по умолчанию отображается снаружи;
— Для существующих чартов поведение не поменялось.
3. Настройки Формы и Цвета в разных секциях
🖖Для точечных диаграмм настройки Формы и Цвета теперь разнесены по разным секциям. Раньше это управлялось одной секцией и было не очень удобно. Теперь цветом можно управлять независимо от формы!
4. Выбор цвета в индикаторах
🎨Выбор цвета из любой палитры или кодом — теперь и в индикаторах!
5. Новинки RLS:
1) Для полей с включенным RLS теперь отображается кликабельная иконка «Ключик» в общем списке;
2) Если логин в конфиге не прошел валидацию (опечатка или пользователь был удален из организации) — ему будет добавлен префикс !FAILED_
6. Итог только по выбранным разрезам в кольцевой диаграмме!
В кольцевой диаграмме итог теперь отображается только по выбранным разрезам!
Лайфхак: зажмите Ctrl/CMD чтобы выбрать несколько значений в легенде!
7. Закрепить тултип на графике
Закрепить тултип на графике можно кликнув зажав Alt (для Windows) / Option (Mac)
Удобно, если вам надо, например:
— сделать скриншот с тултипом
— скопировать значение из тултипа
Почему не простой клик? Зарезервировали его для фильтрации чарт-чарт😉
8. Обновлена механика расчёта LOD и оконных функций
На прошлой неделе разработчики DataLens раскатили обновление механики расчета LOD и оконных функций. Исправили большое количество багов, ускорили работу и оптимизировали вычисления.
Если вы до сих пор не знакомы с таким функционалом, рекомендуем изучить туториалы:
— по оконным функциям
— по LOD выражениям
9. Бесплатный курс "Основы работы с DataLens" на Яндекс Практикуме полностью завершён🎉
Недавно мы опубликовали заключительный модуль — “Вычисляемые поля. Продвинутый уровень”
За 7 уроков вы научитесь самостоятельно создавать вычисляемые поля и свободно ориентироваться даже в самых сложных функциях.
👉 Если вы уже успели пройти часть модулей — это отличный повод вернуться и дойти курс до конца!
👉 Если планировали начать, но откладывали — сейчас самое время!
10. Новый тип подключения YTsaurus CHYT!
👉 YTsaurus — основная система для хранения и обработки данных Яндекса, которая недавно вышла в open source
👉 CHYT — возможность использования ClickHouse внутри YTsaurus для быстрых аналитических запросов
Кстати, внутри Яндекса это самый популярный тип источника данных для DataLens!😉
Несколько полезных статей по использованию CHYT в документации DataLens:
— Практическое руководство
— Рекомендации
— Особенности JOIN
По вопросам использования YTSaurus и CHYT можно обращаться в комьюнити: https://t.me/ytsaurus_ru
Новые функции/новости июня 2023
1. 📊 API → Serverless → ClickHouse → DataLens: весь путь от API источника до визуализации в DataLens
На вебинаре 20 июня показано как с помощью serverless-сервисов реализовать упрощённый пайплайн поставки данных Telegram API в Managed ClickHouse и их визуализации в DataLens.
Будет полезно всем, кто занимается подготовкой данных для DataLens.
2. Собрать дашборд вместе с BI-евангелистом Романом Буниным
Роман Бунин, BI-евангелист Yandex DataLens расскажет, как понять, что хочет бизнес, и собрать для него дашборд✏️. На вебинаре он разберёт весь процесс создания дашборда с самого начала.
Вы узнаете:
🔸 почему важно собирать требования для дашборда;
🔸 как провести интервью с заказчиком, и увидите пример проведения интервью;
🔸 как разработать макет дашборда и как реализовать его в DataLens;
🔸 как настроить совместную работу над дашбордом.
Во время вебинара вы пройдёте интерактивные задания и поучаствуете в конкурсе. Победителей ждут приятные бонусы 🎁
Участие бесплатное, подключайтесь к трансляции (или смотрите её запись) по ссылке.
Новые функции/новости мая 2023
1. DataLens Shorts #04: Текстовые показатели для подписи значений на графике
В коротком видео показано по шагам, как создать подпись графика, показывающую процент значения от общего и значения измерения прямо в подписи. С этим лайфхаком ваши чарты станут более информативными!
2.Сортировка показателей в сводной таблице
🎉Выкатили сортировку показателей в сводной таблице по клику на заголовки!
Сортировка доступна как по заголовкам столбцов, так и по заголовкам строк.
3. 🎉Выкатили подытоги в сводных таблицах!
Подытоги:
— Для строк и для столбцов;
— Включить можно в настройках поля секции;
— Для первого поля в секции подытоги будут работать как общее “Итого”
4. Yandex DataLens Community Heroes Meetup🥂
25 мая менеджеры продукта провели закрытую встречу для героев чата DataLens — Community Heroes. Это те люди, которые помогают вам найти ответы на вопросы, активно участвуют в обсуждениях и пишут экспертный контент. Поделились новостями продукта, провели брейншторм, погуляли по офису Яндекса и пообщались вживую.
Спасибо за вечер! 🤗 Следите за анонсами в нашем чате — сотрудники Яндекса думают о следующем формате подобной вечеринки и будут рады новым героям, чтобы собраться более широким составом!✨
Новые функции/новости апреля 2023
1. Предложите идеи для стикеров DataLens в Telegram
В каждой шутке есть доля шутки…или правды?🤡
Иногда даже сеньорам🍅аналитикам нужно побыть чуточку несерьёзными. Yandex за креативность и открыты новым идеям, особенно от друзей DataLens!
У вас есть возможность привнести доли шутки и лёгкости в BI-комьюнити! Давайте поштормим над новым стикером или шуткой в стикерпак Yandex DataLens:
1️⃣ Заполняйте форму сбора идей стикера до 5 апреля;
2️⃣ Идеи попадут в историю, а точнее, в стикерпак Yandex DataLens!
Делитесь креативом — скорее всего, это будет шутка, но возможно вы и всерьёз🤪
2. Кейс "Ренессанс страхования" по миграции на Yandex DataLens
Описывается кейс «Ренессанс Страхования» по миграции на Yandex DataLens за 3 месяца: 36 дашбордов для 400 пользователей. Их опыт будет точно полезен всем, кто рассматривает переход с зарубежных BI-систем.
3. DataLens Shorts #03: Переходы между дашбордами с применением фильтров
В ролике рассматривается, как создать внутри дашборда ссылки на другие дашборды и вкладки, при переходе по которым будут применяться фильтры по выбранному значению. Добавьте интерактивности и удобной навигации между дашбордами!
Сердечки в фидбек приветствуются! 💙
Новые функции/новости марта 2023
1. Подключения к GoogleSheets с ограниченным доступом
💥Теперь можно создавать подключения к GoogleSheets с ограниченным доступом!
Возможность поддержали в текущем подключении:
https://datalens.yandex.ru/connections/new/gsheets_v2
Яндекс напоминает про действующие ограничения для каждой таблицы (листа), максимум:
— 300 столбцов
— 200 Мб
Новые функции/новости февраля 2023
1. Новый раздел в курсе - о визуализации данных
В курс по основам работы с DataLens, помимо технических блоков, добавлен небольшой раздел с теорией по визуализации данных. Теперь он стал доступен!
Приходите изучать и любить визуализацию ❤️ по ссылке ❤️
Новые функции/новости января 2023
1. Версионирование чартов и дашбордов 📊
Если вам нужно сначала внести правки, согласовать изменения, и только после этого показать пользователям. Или вы просто хотите откатиться на предыдущую сохраненную версию. Теперь можно сохранять Черновики и открывать “Историю изменений”!
Какие бывают версии:
— Актуальная. Версия, которая отображается по умолчанию при открытии объекта. Актуальной может быть только одна версия.
— Черновик. В эту версию удобно вносить правки до показа всем пользователям. Черновик может быть только один для объекта. Для создания черновика выберите «Сохранить как черновик”.
— Неактуальная. Версия, которая раньше была Актуальной или Черновиком.
Любой версией можно поделиться — ссылка будет содержать параметр: ?revId=zac5m4edoaqqr.
2. Расширение полномочий административных ролей в DataLens!
🔓 C 23 января пользователи с ролями datalens.instances.admin* получат полный доступ ко всем объектам вашего DataLens.
Что это значит?
Ваши администраторы смогут управлять правами всех объектов вашего DataLens и самостоятельно решать такие задачи:
— переназначать права на объекты уволившихся сотрудников;
— переносить объекты из личных папок сотрудников;
— переопределять права на дашборды и папки.
Подробнее про пользователей и роли можно почитать в документации
* полномочия роли datalens.instances.admin также включены в общие роли облака:
— admin (администратор всех сервисов облака);
— organization-manager.organizations.owner (создатель организации);
— resource-manager.clouds.owner (создатель облака).
Новые функции/новости декабря 2022
1. Кастомные палитры
🎨Кастомные палитры для вашего DataLens! Теперь их можно задать в настройках сервиса: https://datalens.yandex.ru/settings
Цвета задаются с помощью hex кода и сразу отображаются в превью для светлой и темной темы!
2. Новый тип подключения - BigQuery
BigQuery — новый стандартный тип подключения! Подробнее можно почитать в документации
3. Новые настройки дашборда!
— Кастомные сообщения перед обращением в поддержку и в случае ошибки доступа!
Вы можете описать собственный FAQ, направить на свою команду поддержки или аналитиков.
— Выбор приоритета загрузки: чартов или селектора
Полезно, если на дашборде есть фильтры, без выбора которых нет смысла показывать чарты.
4. Настройка ширины столбцов в сводных таблицах
Настройка ширины столбцов в сводных таблицах — теперь доступна по клику на шестеренку!
5. Линейные индикаторы - теперь и в сводных таблицах
Линейные индикаторы, отображающие цветом прогресс или отставание в достижении значений показателя теперь доступны и в сводных таблицах (раньше были только в простых)! ищите по клику на #️⃣
6. Модуль о параметрах в обучающем курсе
🎓 А ещё в бесплатном курсе от Яндекса «Основы DataLens» появился новый модуль, посвящённый параметрам! Не пропустите, если хотите добавить своим дашбордам интерактивности и настроек!
Новые функции/новости ноября 2022
1. Вторая статья о практической работе с Yandex DataLens
Вышла вторая статья из практической серии по работе с Yandex DataLens. На этот раз объектом исследования представителей Яндекс и Сергея Платонова стало построение аналитических витрин в ClickHouse — как подключиться к БД, загрузить данные несколькими способами с помощью IDE‑клиента и визуализировать их в DataLens.
2. Отказ от материализации датасетов
Причина: работает неидеально и тормозит разработку новых функций. Возможно, DataLens вернётся к данному функционалу в будущем.
❓Для чего использовалась материализация и какие альтернативы предлагает компания:
-> Загрузка данных БД во встроенное хранилище DataLens
Рекомендуется перейти на прямое подключение к БД в настройках датасета. Если в таком режиме БД работает медленно, можно рассмотреть ClickHouse (для хранения) и Data Transfer (для поставки данных). Если понадобится помощь в проекте, вы всегда можете положиться на наших партнёров.
-> Хранение данных из старых CSV-подключений
Рекомендуется перейти на новый файловый коннектор.
-> Публикация чартов и дашбордов без аутентификации
Уже сейчас можно публиковать чарты и дашборды без материализации!
— > Хранение результатов расчёта геофункций, использующих API Карт
Для отображения регионов и городов на карте — см. готовые наборы геоданных от нашего партнера, компании Геоинтеллект.
Для геокода — есть пример скрипта, который работает с API Яндекс Карт.
🗓План по уходу от материализации:
14 ноября
— Настройка материализации исчезнет из интерфейса (кроме датасетов, в которых она уже была сделана).
— На чартах, построенных над старым CSV-подключением или с включённой материализацией, начнёт отображаться предупреждение.
— Геофункции GEOCODE(), GEOINFO(), TOPONYM_TO_GEOPOINT() и TOPONYM_TO_GEOPOLYGON() будут удалены из справочника функций, но продолжат работу.
14 декабря
— Все материализованные датасеты будут переведены в режим прямого доступа.
— После этого перевода публичные чарты и дашборды не сломаются.
— Поля с геофункциями перестанут обновляться и быть валидными.
1 февраля 2023
— Старые CSV-подключения станут недоступны.
До 1 марта 2023
— Данные старых CSV-подключений можно будет запросить через техподдержку.
3. DataLens фестиваль
Открывается регистрация на самое главное BI-событие декабря — Yandex DataLens Festival!
Фестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:
🔹разобраться в тонкостях и нюансах работы с DataLens;
🔹сравнить сервис с другими решениями;
🔹спланировать переезд на новую BI‑систему как отдельных дашбордов, так и целых аналитических систем.
Помимо этого вас ждут живые Q&A-сессии, кейсы реальных проектов, конкурс и сюрпризы для победителей.
Получите знания для построения полноценной системы бизнес-аналитики и прокачайте свои скиллы по работе с дашбордами.
Участие бесплатное, нужно только зарегистрироваться.
➡️ РЕГИСТРАЦИЯ
Новые функции/новости октября 2022
В октябре в Яндекс Даталенсе произошли изменения:
1. Улучшение работы с параметрами
Раньше: селекторы с параметрами воспринимались как и обычные селекторы — при их добавлении на дашборд и выборе определённого значения очищались значения других селекторов.
Из-за этого приходилось разрывать связи между селекторами.
Теперь: селекторы с параметрами перестанут участвовать в фильтрации других селекторов, так что этой проблемы не будет.
Также при изменении названия параметра не нужно будет заходить в использующие его чарты и указывать новое имя. Подтягивание нового имени будет происходит автоматически.
2. Условное форматирование цветом
Появилась возможность делать независимую раскраску по столбцу для плоских таблиц. Как по значениям этого столбца, так и по другим измерениям и показателям из чарта. Пока для показателей поддерживаются только непрерывные шкалы, но скоро будут добавлены и дискретные.
В сочетании с функциями разметки и UTF-символами, это позволяет гибко настраивать условное форматирование таблиц с помощью формул.
В сентябре в Яндекс Даталенсе произошли изменения:
1. Уход от UTC для поля типа "Дата и время"
Новые функции/новости сентября 2022
DateLens переходит на новый тип данных — «Дата и время», который будет ориентироваться не на UTC (как раньше), а на московское время. Раньше возникали проблемы, связанные со сдвигом во времени из-за ориентации на UTC. С 6 сентября на своих старых датасетах в полях даты и времени вы увидите тип данных «Дата и время (устаревшее)».
До 12 октября нужно самостоятельно заменить его на новый тип «Дата и время».
А также заменить в вычисляемых полях:
— функцию DateTime() на GenericDateTime()
— функцию DateTime_Parse() на GenericDateTime_Parse()
— функцию Now() на GenericNow()
— литерал #…# на ##…##
После этих изменений необходимо проверить корректность работы связанных чартов и дашбордов, особенно в тех местах, где использовались дата и время.
2. Итоги в сводных таблицах
Появилась возможность включения итогов в сводных таблицах.
3. Публикация виджетов/дашбордов над БД без материализации
Публикация виджетов и дашбордов теперь стала возможна над любыми БД без материализации данных.
4. Новое файловое подключение
Появилась возможность загружать сразу несколько файлов CSV, заменять и джойнить их. В рамках этого коннектора скоро появится поддержка других типов файлов!
Старое подключение к CSV пока еще доступно по прямой ссылке.
5. Книга о DataLens в предпродаже
Книга “Анализ и визуализация данных в Yandex DataLens” официально появилась в предпродаже!
Оформить предзаказ со скидкой можно на сайте издательства.
Промокоды от автора можно найти в канале Александра Гинько.
6. Бесплатный курс «Основы DataLens»
Yandex запустил на Практикуме первые 4 модуля курса: от подключения к данным до создания дашбордов. Новые модули будут появляться по мере их написания. Курс направлен на изучение инструмента и погружение в него от основ до более глубоких тем.
Формат курса — текстовые теоретические блоки с небольшими скринкастами и самостоятельной работой на бизнес-кейсах. Вместе с аналитиком Анатолием Биаевым участники решат задачи маркетплейса «Живём один раз» и освоят инструмент.
Обратная связь от участников приветствуется!
7. Статьи о DataLens
Yandex запускает серию статей по мотивам вопросов пользователей о работе с Yandex DataLens! Автором выступил энтузиаст и активный участник DataLens комьюнити Сергей Платонов.
Первая статья посвящена объяснению, как начать работать с PostgreSQL для визуализации данных с возможностью их обновления — от развёртывания базы данных в облаке до построения чарта в Yandex DataLens.
8. Описание дашборда
Появилась возможность добавить описание для дашборда в режиме редактирования. Описание поддерживает markdown и будет доступно всем пользователям по клику на иконку.
Новые функции/новости августа 2022
В августе в Яндекс Даталенсе произошли изменения:
1. Новый тип слоя в картах - "точки с кластеризацией"
Данный тип слоя удобно использовать для отображения большого количества точек. Точки объединяются в кластеры автоматически, в зависимости от зума. Дополнительная окраска точек доступна только по измерению (например, категория точки).
Поработать с примером нового типа можете на странице тестового дашборда.
2. Комбинированные диаграммы
На диаграмме можно отображать несколько слоёв.
— Слои можно добавлять, удалять, менять порядок, переименовывать
— Каждый слой исполняется в БД отдельным запросом
— Комбинировать можно линейные, столбчатые и областные диаграммы.
Пример — 3 слоя на одной диаграмме:
Довольно часто слой нужен для отображения константы — например, планового значения для сравнения с фактическими
Более сложный кейс, в котором используются слои — использование оконной функции (или LOD-выражений). В примере ниже такая функция используется для вычисления среднего по категориям.
3. Секция "Сплит"
Секция позволяет разбить диаграмму на несколько по измерению.
Доступна для виджетов:
- Столбчатых
- Линейных
- Областных
Новые функции/новости июля 2022
В ушедшем июле в Яндекс Даталенсе произошли три важных изменения:
1. Изменение прав на папку вместе со вложенными объектами
Ранее при выдаче прав на объекты возникала большая проблема, т.к. чтобы выделить права пользователю на папку и её объекты необходимо было выдавать их на каждый объект папки. Теперь можно выдать пользователю права на папку и все её вложенные объекты сразу.
Стоит учитывать один момент: выдаваемое новым способом право на «Исполнение» применится только к подключениям и датасетам, для остальных сущностей будут выданы права на «Просмотр”.
2. Линейные индикаторы в таблице
Линейные индикаторы позволяют отобразить цветом отклонение от нормы (при выборе разных цветов) или величину показателя (при выборе отображать градиенты одного цвета).
3. Настройка ширины столбцов и перенос текста для простых таблиц
Пользователь может указывать ширину столбцов, как в пикселях, так и в процентах
Новые функции/новости мая 2022
В ушедшем мае в Яндекс Даталенсе добавилось две важных для пользователей функции:
1. Параметры не в QL-чартах
Параметры позволяют пользователю указывать значения параметров виджета прямо с дашборда, не заходя в сам виджет. Ещё недавно в Datalens можно было использовать параметры только для QL-чартов (т.е. для чартов, созданных на основе SQL-запроса). В обычных виджетах такой возможности не было, хотя она часто была нужна для использовании в расчётных показателях. Появление данной фичи открывает разнообразные возможности визуализации.
Примеры чартов (не QL) с использованием параметров представлены на странице тестового дашборде по адресу: https://datalens.yandex/9fms9uae7ip02?tab=Zyd&state=3cba9358246
2. Порядок виджетов в мобильной версии
По умолчанию в Datalens порядок виджетов при отображении на мобильных устройствах задаётся «слева-направо, сверху-вниз». Теперь есть возможность поменять порядок отображения так, как вам удобно! Для этого нужно выбрать пункты: «Вкладки» — три точки на нужной вкладке — перетащить виджеты в нужном порядке — нажать «Применить»
Что ждём?
Один самых популярных запросов пользователей — возможность настраивать влияние виджетов друг на друга.
На конференции о планах Datalens было заявлено, что эта возможность появится довольно скоро.
Следите за нашим блогом и будете в курсе появления этой и других новых фич Datalens.
