Новые возможности платформы Visiology
Содержание:
Документация Visiology, обновленная в декабре 22 года, теперь расположена по адресу:
Анонс версии 3.0 (Идёт в поставке с 2.29). Новые возможности Visiology в 2023 году
1. Поддержка языка DAX
В будущей версии пользователи смогут использовать аналитический язык запросов DAX, используемый в Power BI, что позволит аналитикам, знакомым с синтаксисом:
- создавать меньше расчетов на уровне хранилища данных (DWH),
- писать меньше кода JavaScript и Python,
- переносить расчетные меры, cозданные с помощью DAX, из Power BI простым копированием.
Данная функциональность позволит снизить временные затраты на миграцию с платформы Power BI на Visiology и дает возможность компаниям, в которых была внедрена система от Майкрософт, привлекать квалифицированные кадры с рынка труда.
Более подробно с описанием языка DAX можно ознакомиться на сайте компании Майкрософт, которая разработала и поддерживает его.
2. Визуальная модель данных
Данная модель работает по принципу Power BI и открывает новые возможности для аналитиков в плане простоты и скорости настройки.
3. Разработка дашборда в интерфейсе браузера
На данный момент для того, чтобы строить дашборды, аналитик использует десктопный клиент, установленный на ПК, именуемый Dashboard Designer.
Однозначно, аналитики оценят данное нововведение.
4. ClickHouse внутри Visiology
Колоночная СУБД ClickHouse, известная своим быстродействием, стала частью платформы. Это не потребует ручной оптимизации и построения индексов, таблиц связей, типов данных, кэш-таблиц будет происходить в автоматическом адаптивном режиме в зависимости от запросов и данных.
5. Работа с дашбордами
6. Дополнительные функции.
- Теперь пользователи смогут загружать CSV-файлы даже с переносом строк: символы переноса строк внутри значений успешно распознаются Загрузчиком.
Появилась возможность выводить итоги и подытоги не только при использовании ViQube (In-memory), но и при использовании ViQube (SQL Backend) в качестве источника данных. Интересно, что для некоторых виджетов, например, для сводной таблицы, настройка отображения итогов и подитогов в обоих вариантах осуществляется одинаково.
Добавлена поддержка новой СУБД (Oracle ) при использовании режима ViQube (SQL Backend).
Версия 2.30 (январь 2023)
Ключевые изменения коснулись следующих блоков:
1. Работа с данными
- При использовании режима ViQube (SQL Backend) обеспечивается поддержка новой СУБД: MS SQL;
2. Работа с дашбордами
Добавлен файл json и инструкция для использования карты РФ (картосхемы) с обновлёнными границами.
Картосхему можно обновить:
- по инструкции, с использованием json-файла;
- с помощью кастомного виджета на основе json-файла
3.Модуль Smart Forms
Основные изменения:
- возможность настройки предупреждения оператора ввода данных о незаполненных полях формы;
- возможность загрузки текстовых данных из Excel с помощью ViLoader. Можно загрузить Excel файл с текстовыми данными (напр., с комментариями к значениям) через ViLoader, так что они отобразятся в экземпляре формы вместе с числовыми значениями;
- разграничение прав доступа к Excel-файлам, загруженным через ViLoader. Теперь доступ к загруженным через ViLoader Excel-файлам есть только у пользователя, который их загружает. Эта мера введена с целью повышения безопасности работы с данными;
4. Администрирование
- Расширен перечень логируемой информации по части объектов системы. Это позволит более качественно и комплексно изучать события информационной безопасности. Для некоторых объектов в лог теперь добавляются:
- логин субъекта;
- ID и Наименование объекта;
Задействованы компоненты: Smart Forms и Dashboard Designer.
- Формат логирования для viqube-master и admin поменялся: лог теперь пишется в одну строку, что упрощает возможность его парсинга.
Версия 2.29. Новые возможности Visiology (ноябрь 2022)
Ключевые изменения коснулись следующих блоков:
1. Работа с данными
- Теперь планы загрузки распределяются по БД, т.е. загрузчик указывается не в общем списке загрузчиков, а в настройках той БД, в которую с его использованием загружаются данные. Это гораздо удобнее, так как не нужно искать в списке относящийся к определённой БД загрузчик.
- Добавлено информирование пользователя при возникновении ошибки JDBC драйвера.
- Расширена поддержка SQL-запросов в загрузчиках (напр., конструкции with, exec).
2. Работа с дашбордами.
3. Модуль Smart Forms.
Обновлен интерфейс модуля Smart Forms. Он стал более удобным, что позволяет значительно повысить скорость работы Оператора ввода данных.
Основные изменения:
- В предыдущих версиях на главной странице Smart Forms были доступны окна для перехода в редактор бизнес-правил и навигатор форм, а также все справочники. Такой интерфейс вызывал у некоторых пользователей вопрос, куда именно нужно зайти чтобы найти формы. В версии 2.28 при открытии главной страницы пользователь сразу попадает в навигатор форм. Все 3 раздела смартформс (формы, бизнес-правила и справочники) помещены во вкладку слева, всплывающую при нажатии кнопки-бургера.
- В предыдущей версии многие пользователи не знали о возможности поиска форм с помощью панели, которую нужно было раскрыть чтобы ей воспользоваться. Теперь панель поиска раскрыта по умолчанию.
- Взаимодействие с формами в навигаторе стало значительно удобнее: кнопки редактирования и удаления форм раньше становились видны при наведении, а теперь видны всегда по умолчанию; кроме того, если раньше просмотреть экземпляры формы можно было только нажав на треугольник на строке с названием шаблона формы, теперь достаточно кликнуть в любом месте на этой строке; экземпляры форм в новой версии открываются в новой вкладке, что позволяет пользователю иметь одновременный доступ и к списку форм, и к открытому экземпляру формы.
- Страница справочников претерпела изменения: появилось поле для поиска нужного измерения и были убраны картинки, которые усложняли поиск нужного справочника при большом количестве справочников.
Помимо изменений, связанных с интерфейсом, улучшено взаимодействие Smart Forms и ViQube. Теперь в ViQube можно производить различные изменения настроек показателей из Smart Forms без опасений, что они слетят при обновлении данных из Smart Forms. Сохраняются настройки:
- изменения функции агрегации Показателей;
- изменения сортировки Измерений;
- добавления Показателей (в том числе расчётных);
- связей.
4. Администрирование.
- Для загрузки данных в БД пользователю больше не требуются права Администратора. При этом, можно разделить пользователей, предоставив им доступ на: администрирование БД, настройку модели БД (без возможности администрирования) или построение дашборда. Это стало возможным благодаря добавлению в систему роли «Аналитик DWH», которая позволяет осуществлять манипуляции с БД без возможности её администрирования. С помощью cURL-запроса Можно указать конкретную базу, доступ к которой будет иметь пользователь с помощью роли «<Доступ к БД>» (где «<Доступ к БД>» указывает на базу данных, к которой пользователь получает доступ). Соответственно, если нужно предоставить пользователю права на редактирование дашборда с определённой БД, то ему выдаются роли «Редактор» и «<Доступ к БД>». Можно дать пользователю несколько доступов к БД, если он будет работать с несколькими базами данных. Таким образом, настройка прав доступа становится максимально гибкой, позволяя выдавать пользователю права как на любой отдельный этап, так и на весь цикл создания дашборда с указанием доступных баз данных.
Важный момент, который хотелось бы отметить, т.к. он может вызвать проблему: у пользователей, просматривающих дашборд на портале, должны быть роли с доступом к БД, используемой при создании этого дашборда. Упростить процедуру доступа можно добавив роли «Все авторизованные пользователи» доступ ко всем имеющимся базам данных с помощью указанного выше cURL-запроса. При добавлении новой БД нужно обновить доступ.
Ограничения: разделение доступа не поддерживается модулями Пользовательская аналитика и Smart Forms. В этих модулях доступна одна БД, указываемая Администратором по-умолчанию.
Особенности обновления: после обновления роль «Доступ к БД» нужно создать заново, поскольку она задействуется для миграции.
- Раздельное указание имени учётной записи для входа на сервер электронной почты и адреса для рассылки. Это может быть удобно в ситуации, если логин для авторизации и email для рассылки различаются.
- Автоматическое определение принадлежности объектов (измерений/показателей/таблиц/дашбордов) к определённой БД при экспорте/импорте. При экспорте и импорте Visiology будет понимать, какой базе принадлежит объект и осуществлять операцию, учитывая принадлежность, так что пользователю не нужно беспокоиться о правильности мэппинга.
Версия 2.28. Новые возможности Visiology (август 2022)
Ключевые изменения коснулись следующих блоков:
1. Работа с данными
- Теперь пользователи смогут загружать CSV-файлы даже с переносом строк: символы переноса строк внутри значений успешно распознаются Загрузчиком.
Появилась возможность выводить итоги и подитоги не только при использовании ViQube (In-memory), но и при использовании ViQube (SQL Backend) в качестве источника данных. Интересно, что для некоторых виджетов, например, для сводной таблицы, настройка отображения итогов и подитогов в обоих вариантах осуществляется одинаково.
Добавлена поддержка новой СУБД (Oracle ) при использовании режима ViQube (SQL Backend).
2. Работа с дашбордами.
3. Модуль Smart Forms.
Обновлен интерфейс модуля Smart Forms. Он стал более удобным, что позволяет значительно повысить скорость работы Оператора ввода данных.
Основные изменения:
- В предыдущих версиях на главной странице Smart Forms были доступны окна для перехода в редактор бизнес-правил и навигатор форм, а также все справочники. Такой интерфейс вызывал у некоторых пользователей вопрос, куда именно нужно зайти чтобы найти формы. В версии 2.28 при открытии главной страницы пользователь сразу попадает в навигатор форм. Все 3 раздела смартформс (формы, бизнес-правила и справочники) помещены во вкладку слева, всплывающую при нажатии кнопки-бургера.
- В предыдущей версии многие пользователи не знали о возможности поиска форм с помощью панели, которую нужно было раскрыть чтобы ей воспользоваться. Теперь панель поиска раскрыта по умолчанию.
- Взаимодействие с формами в навигаторе стало значительно удобнее: кнопки редактирования и удаления форм раньше становились видны при наведении, а теперь видны всегда по умолчанию; кроме того, если раньше просмотреть экземпляры формы можно было только нажав на треугольник на строке с названием шаблона формы, теперь достаточно кликнуть в любом месте на этой строке; экземпляры форм в новой версии открываются в новой вкладке, что позволяет пользователю иметь одновременный доступ и к списку форм, и к открытому экземпляру формы.
- Страница справочников претерпела изменения: появилось поле для поиска нужного измерения и были убраны картинки, которые усложняли поиск нужного справочника при большом количестве справочников.
Помимо изменений, связанных с интерфейсом, улучшено взаимодействие Smart Forms и ViQube. Теперь в ViQube можно производить различные изменения настроек показателей из Smart Forms без опасений, что они слетят при обновлении данных из Smart Forms. Сохраняются настройки:
- изменения функции агрегации Показателей;
- изменения сортировки Измерений;
- добавления Показателей (в том числе расчётных);
- связей.
4. Администрирование.
- Обновлены компоненты мониторинга для повышения безопасности: node-exporter, cadvisor, loki, prometheus, promtail.
- В Visiology с версии 2.20 поддерживается авторизация по протоколу LDAP. В 2.28 добавлена поддержка протокола OpenLDAP.
Подробнее с презентацией версии 2.28 вы можете ознакомиться из видео
Версия 2.27. Новые возможности Visiology (июнь 2022)
Ключевые изменения коснулись следующих блоков:
1. Работа с данными.
Произведены улучшения в удобстве работы с большими объемами данных, выходящих за пределы оперативной памяти (In-memory) за счет улучшений, касающихся функции SQL Backend.
Функция SQL Backend отвечает за трансляцию многомерных запросов (OLAP) в SQL и исполнение их на внешней СУБД. Используется в случае необходимости работать с очень большими объемами данных, которые не помещаются в ОЗУ или постоянно растут и нет возможности оперативно увеличивать объемы ОЗУ.
Улучшения в SQL Backend произведены за счет:
- оптимизации при генерировании SQL запросов,
- увеличения количества поддерживаемых баз данных,
- упрощения настройки,
- снятия некоторых функциональных ограничений таких, как работа с накопленными итогами.
Таким образом, Visiology ViQube умеет работать с данными в трех режимах:
- In-memory,
- SQL Backend,
- Гибридный режим, при котором часть запросов поступает в In-memory, а часть в SQL Backend
Отличия в сценариях применения данных режимов можно узнать из таблицы ниже
Ключевые изменения коснулись следующих блоков
Каждый из режимов оптимизирован именно под свои задачи. Не рекомендуется использовать ViQube (SQL Backend) в случае, если по критериям необходимо использовать ViQube (In-memory) , так как это может негативно сказаться на производительности.
Подробнее про ограничения при использовании SQL Backend вы можете прочитать здесь:
2. Работа с дашбордами.
- .ods (Excel),
- .odp (PowerPoint).
Как итог, документы корректно отображаются в программах, поддерживающих форматы OpenOffice, таких как LibreOffice.
2.2. Копирование дашбордов с виджетами с измененным кодом JavaScript стало удобнее.
Теперь при копировании дашбордов ID виджетов в коде JavaScript виджетов меняется автоматически и не требует редактирования.
То есть, после копирования дашборда, на котором есть виджеты, в JavaScript коде которых используется привязка к другим виджетам по ID, данная привязка будет работать корректно после копирования и не потребует редактирования ID виджетов в коде.
2.3. Скорость загрузки дашбордов при медленном интернете и больших объемах мета-структур данных увеличилась.
За счет оптимизации запросов на описание мета-структуры данных скорость загрузки дашбордов увеличилась на 1-2 секунды.
3. Модуль Smart Forms.
- несуществующие значения атрибутов будут созданы,
- существующие значения атрибутов будут обновлены.
4. Администрирование.
Улучшена безопасность встроенного модуля nginx за счет отключения ненадежных алгоритмов SSL шифрования.
5. Работа с JavaScript кодом.
Метод visApi().exportDashboard() теперь умеет выгружать дашборд в формат ODS и ODP. Можно передать типы «ods» или «odp».
- Теперь подписка visApi().onWidgetLoadedListener() срабатывает сразу, если виджет уже отрисован.
Подробнее с презентацией версии 2.27 вы можете ознакомиться из видео:
Версия 2.26. Новые возможности Visiology (апрель 2022)
Ключевые изменения коснулись следующих блоков:
1. Работа с пользовательскими виджетами.
Появилась возможность изменения свойств пользовательского (созданного пользователями платформы и отсутствующего в библиотеке типовых виджетов) виджета с помощью элементов интерфейса UI.
Раньше: пользователю, как правило, аналитику для изменения пользовательского виджета приходилось изменять JSON со значениями параметров виджета в разделе «Расширенные свойства» либо изменять код JavaScript виджета.
Теперь: при создании пользовательского виджета разработчиком добавляются свойства с указанием названия, типа и значения по умолчанию для каждого свойства. При работе с виджетом пользователь-аналитик может менять значения данных свойств по клику мышки.
2. Работа с дашбордами.
2.1. При экспорте в Excel сводной таблицы сохраняются названия атрибутов измерений, использованные для разбиения в строках и столбцах, если они включены на виджете.
2.2. Дублирование вышележащих по иерархии атрибутов при экспорте сводной таблицы в Excel. Прежде, при выгрузке сводной таблицы с раскрытой иерархией, в строке вышележащего атрибута оставалось одно значение. Это не позволяло использовать некоторые функции, такие как ВПР, требующие чтобы значения были на каждой строке — приходилось заполнять строки значениями вручную.
2.3. Возможность отмены загрузки экспорта данных. Довольно часто пользователь понимает, что забыл внести необходимые поправки на дашборде уже после того как запустит экспорт дашборда. В таком случае пользователю приходится ждать загрузки неактуальной версии, удалять её и только после этого делать свои поправки. Новая настройка позволяет пользователю отменить процесс экспорта. Данная настройка распространяется при любом типе экспорта:
- дашборда в любом формате;
- отдельного виджета в Excel;
- регламентного отчёта на основе Excel шаблона;
- с помощью JS API.
2.4. Отмена выполнения потерявших актуальность запросов к данным. Например, если пользователь открыл дашборд и сразу переключился на третью вкладку, загрузка первой вкладки останавливается. Данный подход экономит вычислительные ресурсы, повышает производительность и в итоге ускоряет загрузку нужного пользователю объекта. Этот принцип работает:
- при переключении вкладок;
- при переключении фильтров на дашборде;
- при настройке и удалении виджетов.
3. Модуль Smart Forms.
3.1. Загрузка данных из Excel по шаблону.
Раньше Excel файлы в формы ввода мог загрузить только аналитик, так как он имеет полный доступ к администраторской системе;
Сейчас Excel файлы могут загружать операторы ввода по шаблону Excel файла, заранее подготовленному аналитиком;
3.2. Сохранение прав доступа к объектам на уровне строк при переносе данных из Smart Forms в ViQube. Раньше настройки прав доступа на уровне строк (такие как показывать пользователю данные только о городе Мурманск) при переносе из Smart Forms в ViQube пропадали и пользователь видел все данные без ограничений. Теперь эти настройки передаются в ViQube.
3.3. Сохранение сортировки по сортировочному атрибуту при переносе данных из Smart Forms в ViQube. Аналогично предыдущей проблеме раньше сортировка по сортировочным атрибутам, настроенная в Smart Forms, сбрасывалась при переносе данных в ViQube. Теперь эти настройки также передаются.
4. Администрирование.
4.1. В работу ViQube при загрузке данных и выполнении запросов внесены изменения, благодаря которым достигается значительное снижение потребления оперативной памяти.
4.2. Добавлена опциональная настройка (в разделе авторизация) — поддержка LDAPS: протокола LDAP с SSL шифрованием данных.
5. Работа с JavaScript кодом.
Обновлена версия модуля DevExtreme (используемого для визуализации таблиц) с 19.2.7 до 21.1.7. В связи с этим в пользовательских доработках виджетов на JS, использующих компоненты DevExtreme, возможны изменения. Если Вы использовали что-то из данного модуля или кастомизировали виджеты, основанные на DevExtreme, проверьте их работу — их поведение могло поменяться.
