Экстрактор, Denvic ETL и Аналитика данных. Из 1С в BI

Выпущен релиз 1.20.0 Denvic Visual Transformer (DVT)! 🚀 Новый функционал: 1. Добавлена новая нода Convert To Schema. Она собирает эталонную схему таблицы из колонок датафрейма (имена, типы, описания, обязательность, значения по умолчанию, ключи и другие атрибуты). 2. Добавлена новая нода Schema Policy. Она позволяет привести данные к эталонной схеме таблицы. Это позволяет контролировать качество данных перед записью в БД. 3. В ноде Execute Project реализовано управление переменными при запуске вложенного проекта. 4. Кнопка для сброса кэша проекта перенесена в рабочую область. 5. В настройки профиля добавлен раздел, который позволяет управлять настройками приложения (доступен администратору). Настройки группируются по разделам, секретные значения (лицензионный ключ, пароли) защищены, история изменений сохраняется. 6. В настройках приложения можно выбрать точность даты-времени для выполнения пайплайнов (наносекунды, микросекунды, секунды). Это позволяет избежать переполнения при работе с датами из MS SQL и других источников с высокой точностью. ⚡ Внесены следующие улучшения: 1. Ускорена загрузка загрузка списков баз, схем и таблиц. 2. Улучшена работа ноды Pivot DataFrame. Теперь результирующие колонки в данной ноде получают более короткие и читаемые имена — значение сводной колонки используется без лишних префиксов, а при конфликтах имён добавляются различающие суффиксы. 3. Удалены устаревшие ноды чтения из базы данных. Ранние версии нод Read Table DB и Read Query DB удалены. Используйте актуальные версии нод Read Table DB V3 и Read Query DB V3. 4. Переменная окружения DVT_FERNET_KEY теперь обязательна: без неё контейнеры не запустятся. Проверьте, что она задана в вашем окружении перед обновлением. 🐛 Исправлены следующие ошибки: 1. Исправлено чтение CSV, Excel, JSON и Parquet из подключений к FTP/SFTP. Теперь файл корректно скачивается во временную копию и удаляется после обработки. 2. Исправлена работа glob-путей (например, folder/*.xlsx) для нод Load Excel и Load JSON при подключении к S3. 3. Исправлена потеря метаданных колонок при записи Parquet-файлов в режиме добавления (append). 4. Исправлены ошибки отображения и сохранения значений даты-времени, включая переменные проекта типа datetime. 5. Раньше если переменная DVT_FERNET_KEY отсутствовала, то DVT тихо падал и было непонятно, в чем проблемаСейчас явно ругается на отсутствие переменной.

Выпущен релиз 3.12.1.132 (HotFix) Экстрактора 1С! Исправлена ошибка формирования очереди в Толстом клиенте. Подробнее о том, как ее избежать читайте в статье.

🤝 Денвик Аналитика и Софтлайн Решения начинают сотрудничество, чтобы предложить компаниям комплексный подход к построению современной инфраструктуры данных. Что это значит для бизнеса? ✔️ Автоматическая подготовка данных из 1С, ERP, CRM и других корпоративных систем. ✔️ Более быстрое внедрение BI-платформ и корпоративных хранилищ данных (DWH). ✔️ Повышение качества данных для аналитики и AI-проектов. ✔️ Снижение трудозатрат на сопровождение интеграций и ручную обработку информации. ✔️ Создание масштабируемой архитектуры для дальнейшего развития Data Platform и корпоративного ИИ. Экспертиза в реализации масштабных проектов цифровой трансформации и компетенции в области ETL/ELT, автоматизации подготовки данных и интеграции корпоративных систем позволят создавать решения, которые охватывают весь путь данных — от источника до готовой аналитики. Это партнерство — еще один шаг к тому, чтобы сделать технологии управления данными доступнее для российского бизнеса.

Экстрактор, Denvic ETL и Аналитика данных. Из 1С в BI pinned a photo

Выпущен релиз 1.19.5 Denvic Visual Transformer (DVT)! 🚀 Новый функционал: 1. На смену ноде Write Dataframe to DB V3 добавлена нода Write Dataframe to DB V4 с улучшенным функционалом и мастером пошаговой настройки. 2. На страницу с настройками DVT добавлен раздел «Обновление». Подробнее о данном функционале читайте в статье. 3. В настройках файловых нод (таких как Load Excel, Save Excel и другие) с подключением к S3 появилось поле «verify», в котором можно явно включить или отключить проверку SSL-сертификатов для конкретной ноды, переопределив значение из подключения. 4. Выпущена новая версия расширения «Bitrix24 Connector»: v0.9.5. В рамках данного релиза был реализован следующий функционал: - выгрузка комментариев для сделок/лидов/контактов/компаний с помощью ноды Get Entity Data from Bitrix24 V2; - исправлена ошибка дублирования выгрузки сделок для ноды Read Data from Bitrix24. 🐛 Исправлены следующие ошибки: 1. Устранена проблема, при которой длительно выполняющиеся задачи Celery могли быть повторно взяты в работу до завершения. Теперь таймаут видимости задач настраивается и по умолчанию составляет 8 часов.

🚀 Бесплатный вебинар: Как построить современный конвейер данных для BI Большинство BI-проектов затягиваются не из-за дашбордов, а из-за подготовки данных. Ручные выгрузки из 1С, сложные SQL-скрипты, доработки и разрозненные источники превращают аналитику в бесконечный процесс. На вебинаре покажем, как автоматизировать весь путь данных: 1С → Экстрактор 1С → Denvic Visual Transformer (DVT) → Хранилище → BI Вы увидите на практике, как: ✅ автоматически выгружать данные из 1С без участия пользователей; ✅ передавать только изменения, снижая нагрузку на рабочую базу; ✅ без программирования очищать, объединять и преобразовывать данные; ✅ создавать аналитические витрины для BI-платформ; ✅ сократить сроки запуска BI с месяцев до нескольких дней. 🎯 Для кого: IT-директора, аналитики, архитекторы данных, BI-команды и разработчики 1С. Если вы хотите построить масштабируемую архитектуру данных, отказаться от ручных операций и ускорить внедрение аналитики — этот вебинар для вас. 🎓 Регистрация бесплатно по ссылке

Выпущен релиз 1.19.3 Denvic Visual Transformer (DVT)! ⚡️ Внесены следующие улучшения: 1. В ноде Execute SQL теперь, если SQL-запрос возвращает одну строку, значения колонок автоматически становятся переменными, которые можно использовать в других нодах пайплайна. 2. Реализован функционал подсвечивания битых подключений в нодах. Теперь, если подключение к базе данных помечено как неработающее, то оно отображается с красной меткой «Broken» и недоступно для выбора в выпадающем списке подключений — исключена случайная привязка сломанного подключения к ноде. 3. В ноде Select Variables from DataFrame агрегирующая функция по умолчанию изменена с count на first, что является более естественным выбором для типичных сценариев, порядок функций в списке также изменён. 4. Обновлен интерфейс ноды Add TimeDelta To DataFrame. Настройки ноды переработаны, реализована более компактная и чистая раскладка полей, улучшены стили предупреждений. 5. Реализовано расширение модального окна ноды. Окно настроек ноды теперь поддерживает режимы фиксированной и изменяемой ширины с кнопкой раскрытия на весь экран. Это удобно для нод со сложной настройкой (например, Write DataFrame To DB). 🐛 Исправлены следующие ошибки: 1. Устранена проблема, при которой сверка колонок перед записью в базу данных могла зависать из-за отсутствия таймаута. Теперь операция ограничена по времени подключения (25 секунд) и общему времени выполнения (30 секунд).

Выпущен релиз 1.19.2 Denvic Visual Transformer (DVT)! 🚀 Новый функционал: На замену ноде Drop NA/Null Values добавлена нода Fill NA/Null Values. Она предназначена для заполнения пропусков в данных, например, вместо удаления строк с пустыми значениями можно выбрать стратегию, по которой будет генерироваться значение вместо null для каждой колонки отдельно: - Mean (среднее значение); - Median (медианное значение); - Mode (значение, которое встречается чаще всего); - Min (минимальное значение); - Max (максимальное значение); - Forward fill (заполнение следующим значением); - Backward fill (заполнение предыдущим значением). В настройках ноды колонки выбираются из подключенного датафрейма с подсказками и валидацией. Важно! Нода Drop NA/Null Values удалена. Пайплайны, в которых она использовалась, необходимо обновить после перехода на версию 1.19.2. ⚡️ Внесены следующие улучшения: Реализовано удаление временных файлов Dask (.partd) из /tmp. Теперь после каждого выполнения задачи теперь автоматически удаляются временные файлы удаляются, ранее они накапливались и могли занимать место на диске сервера. 🐛 Исправлены следующие ошибки: Исправлено наложение диалога подтверждения поверх всплывающих подсказок. Теперь диалог корректно отображается поверх всех элементов.

Выпущен релиз Инжектора 1С 1.4.1.2 В этом релизе мы доработали и усовершенствовали интерфейс создания проекта, что позволит в процессе эксплуатации проекта вносить любые изменения в настройках на любом этапе. 🚀 Новый функционал: 1) Доработан режим загружать без предварительного поиска. 2) Добавлена индикация уже загруженных объектов в дереве выбора объектов загрузки. ⚡ Внесены следующие улучшения: 1) Настройка чтения таблиц и сегментов выделена в отдельный этап создания проекта. 2) Объединены инкрементальные режимы загрузки с инкрементально-сегментированными 3) Доработан алгоритм автосопоставления полей. 🐛 Исправлены следующие баги: - исправлена ошибка загрузки дополнительных реквизитов - исправлена ошибка перехода в личный кабинет пользователя - исправлена ошибка поиска по двум очередям - исправлена ошибка формирования отчета - исправлена ошибка изменения настроек нескольких таблиц Все подробности доступны в документации.

Выпущен релиз 3.12.1.126 (HotFix) Экстрактора 1С! ⚡️Внесены следующие доработки: 1. Реализовано завершение выполнения проекта при остановке регламентного задания по расписанию и при любой остановке родительского фонового задания. А также исправлено продолжение выгрузки следующих строк проекта при остановке пользователем. 2. Реализовано исключение полей по маске. Исключение полей можно задать в настройках Экстрактора на вкладке «Данные» в соответствующей строке. По маске «Удалено*» выбранное поле будет добавлено в исключение при обновлении. 3. Настройка строки проекта «Выгружать строку при отсутствии данных» теперь по умолчанию заполняется из общих настроек на вкладке «Данные». Изменить данную настройку для конкретной строки проекта все также можно из дополнительных настроек. ⚠️Исправлены следующие ошибки: 1. HOTFIX-225415. Исправлена ошибка, при которой не показывались показываются комментарии к параметрам обработчиков.

Выпущен релиз 1.19.1 Denvic Visual Transformer (DVT)! ⚡️ Внесены следующие улучшения: 1. Добавлен номер версии DVT рядом с названием. 2. При создании подключения к Microsoft SQL Server теперь можно указать имя экземпляра в поле «Host» в формате «server\instance», после чего порт скрывается автоматически, а драйвер ODBC подставляется по умолчанию. 3. Добавлена поддержка path-style адресации и выбора версии подписи в файловых подключениях S3. Это обеспечивает расширенную совместимость S3-хранилищ. Данный функционал важен для S3-совместимых хранилищ (MinIO, Ceph и др.), которым требуются специфические настройки подключения. 🐛 Исправлены следующие ошибки: 1. Устранена проблема, при которой чтение Excel-файлов в ноде Load Excel по FTP-подключению могло зависать или завершаться ошибкой. Теперь файл сначала скачивается во временное хранилище и корректно читается, а временный файл удаляется даже в случае ошибки. 2. Исправлена ошибка, при которой промежуточные (staging) таблицы при записи в ClickHouse использовали асинхронную вставку, что приводило к потере данных при режиме записи «очистка и запись» и «upsert». Теперь async_insert применяется только к основной таблице. 3. Исправлена ошибка в ноде Write DataFrame To DB, при которой происходила утечка подключений к БД . Теперь корректно закрывают подключения к БД после выполнения, включая случаи с ошибкой — устранена утечка соединений в пуле.

Выпущен релиз 3.12.1.122 (HotFix) Экстрактора 1С! ⚡️Внесены следующие доработки: 1. В «Планировщик» в настройках Экстрактора добавлена кнопка «Применить ко всем регламентным заданиям», которая позволяет применить параметров планировщика к уже созданным регламентным заданиям. 2. Реализована работа в «копии» базы. Настроить данный функционал возможно с помощью разрешений в «Планировщике» в настройках Экстрактора. 3. Добавлены подписки на события по планам счетов. 4. В «Центр Управления» настроек Экстрактора 1С добавлен переключатель «Запрет регистрации сообщений» для DCC, что позволяет при необходимости остановить обмен с DCC. ⚠️Исправлены следующие ошибки: 1. HOTFIX-221213. Исправлена ошибка работы «Значения по умолчанию» для поля в базе-приемнике PostgeSQL. 2. HOTFIX-223593. Исправлена ошибка форматирования данных для Apache Kafka без схемы. Подробнее читайте в нашей документации.

🚀 В блоге вышла новая статья — «Почему цифры в 1С и BI не совпадают и как выстроить сверку данных». Расхождение между отчетом 1С и BI-дашбордом не всегда означает техническую ошибку. Причина может быть в разных условиях расчета, неполной выгрузке, сбое ETL-преобразований или настройках самого отчета. 📍 В статье рассказываем: ⁃ когда расхождение допустимо, а когда требует проверки; ⁃ как локализовать проблему до конкретного периода, подразделения или документа; ⁃ как проследить путь показателя от BI до исходных данных в 1С; ⁃ что проверять в витрине, ETL-процессе и сырых таблицах DWH; ⁃ почему совпадения итоговой суммы недостаточно; ⁃ как исправить причину расхождения и выстроить превентивный контроль. После прочтения будет проще отличать допустимые расхождения от ошибок, находить этап, на котором изменился показатель, и не допускать публикации некорректных данных в BI. ➡️ Читайте статью в блоге по ссылке.

Приглашаем Вас посетить бесплатный вебинар на тему: "Как среднему бизнесу избежать ошибок при внедрении BI аналитики: кейс инжиниринговой компании Гринтех Энерджи". 📍 8 июля, 11:00 | Онлайн в Pruffme Почему BI-проекты в среднем бизнесе часто не дают результата? На вебинаре разберём реальный проект «Гринтех Энерджи» — инжиниринговой компании, которая прошла путь от ручной выгрузки и аналитики, разрозненной 1С-отчётности к единой BI-системе управления продажами. Эксперты «Techpeople» и «Денвик Аналитика» расскажут: - Как была выстроена архитектура данных; - Почему в качестве инструмента был выбран Экстрактор 1С; - Как работает AW BI в реальном бизнесе; - Проведут демонстрацию решения Экстрактор 1С и результаты визуализации дашбордов; - Подведут итоги: "Какие управленческие решения стали возможны после внедрения"; а также ответят на вопросы участников. Зарегистрируйтесь и получите бонусы: 1) Чек-лист: «Как понять, что вашему бизнесу нужна подзарядка?» 2) 14 дней бесплатного доступа к Экстрактору 1С.

Вебинар: Как выгружать данные из 1С в real-time без перегрузки системы 📍 24 июня, 15:00 | Онлайн в Pruffme Как получать актуальные данные из 1С для аналитики и BI, не создавая дополнительной нагрузки на учетную систему? На вебинаре разберем подход CDC (Change Data Capture), который позволяет выгружать только изменившиеся данные, и покажем живую демонстрацию связки Loginom и Экстрактора 1С на практике. Вы увидите, как организовать быстрый обмен данными между 1С и аналитическими системами без полных выгрузок и задержек. 👉 Регистрация по ссылке #мероприятие

Выпущен релиз 1.19.0 Denvic Visual Transformer (DVT)! 🚀 Новый функционал: — Нода ✍️ Write DataFrame To DB V4: новая нода записи данных в базу с расширенными возможностями — выбор таблицы через пошаговый интерфейс (подключение → база → схема → таблица), режимы записи (добавление, очистка и запись, upsert), настройка маппинга колонок, обработка лишних и недостающих колонок, пакетная запись. — Нода { } Load JSON: новая нода загрузки JSON-файлов из файловых подключений (S3, FTP, SFTP, SMB, внутреннее хранилище). Поддерживаются glob-паттерны для множественной загрузки. — Загрузка файлов прямо в ноду: в файловых нодах (Load CSV, Load Excel, Load JSON, Load Parquet) появилась возможность загрузить файл с компьютера — он сохраняется во внутреннее хранилище DVT и автоматически подставляется в ноду. Не нужно предварительно настраивать S3 или FTP. — Обработка ошибок в пайплайне (error branching): у каждой ноды появился выход «Ошибка» — если нода завершается с ошибкой, сигнал передаётся по error-ветке, и пайплайн может продолжить выполнение по альтернативному пути. Текст ошибки доступен в переменной __dvt_error_text. — Новые входы и выходы ноды 🐍 Execute Python: добавлены входы df_in (DataFrame) и json_in (JSON), а также выходы DataFrame и JSON. Внутри кода доступны pd, dd, а переменные df_out и json_out автоматически попадают в соответствующие выходы. — Главная страница: при входе в DVT теперь открывается домашняя страница с приветствием, списком последних проектов, разделом подключений и быстрыми действиями — создание проекта, переход к проектам и подключениям. — Документация нод: в редакторе пайплайнов появилась кнопка для просмотра документации по выбранной ноде — открывается модальное окно с описанием, примерами и подсказками на языке интерфейса. — Файловый менеджер в боковой панели: в сайдбаре редактора проектов добавлен быстрый доступ к файловым подключениям — можно сразу открыть файловый менеджер нужного подключения. ⚡ Внесены следующие улучшения: — Таймаут чтения Excel: в ноде Load Excel добавлено поле «Таймаут чтения» — можно ограничить время загрузки одного файла, чтобы пайплайн не зависал на больших или недоступных файлах. — Поддержка типов SQL Server uniqueidentifier и binary: при чтении данных из SQL Server колонки типов uniqueidentifier и binary/varbinary корректно распознаются и отображаются как строки. — Сортировка проектов: в списке проектов и папок добавлена серверная сортировка по дате обновления с выбором направления (по возрастанию/убыванию). — Переопределение переменных при запуске задачи: при ручном запуске проекта можно передать значения переменных, которые переопределят сохранённые в проекте — удобно для тестовых и параметрических запусков. — Менеджер подключений на главной странице: раздел подключений переработан для отображения на домашней странице — карточки подключений с иконками и быстрыми действиями. — Уменьшен шум в логах: отладочные сообщения о disabled outputs переведены на уровень debug; убраны лишние логи в task worker. ⚠️ Важные изменения — При обновлении база данных автоматически мигрирует: добавляется таблица dvt_service_file_objects для внутреннего файлового хранилища (миграция 0055). Существующие данные не затрагиваются. — Нода Execute Python изменила тип: теперь это нода с DataFrame-выходом вместо signal-only. Пайплайны с этой нодой сохранят совместимость, но визуальное отображение ноды в редакторе изменится. — У всех нод появился дополнительный выход signal_error — это может повлиять на визуальное отображение графов в редакторе. 🐛 Исправлены следующие ошибки: — Load Excel: исправлено зависание: устранена проблема, при которой чтение Excel-файлов через некоторые файловые подключения могло зависать из-за отсутствия таймаута. — Лишние служебные колонки в DataFrame: нода Write DataFrame To DB V4 автоматически удаляет внутренние служебные колонки перед записью.

Выпущен релиз 3.12.1.114 (HotFix) Экстрактора 1С! ⚡️Внесены следующие доработки: 1. Добавлено пакетное удаление записей из очереди Redis. 2. Добавлены общие реквизиты в состав реквизитов объекта (в частности, для типа источника данных «Объект», для «Звездочки» и «Снежинки»). ⚠️Исправлены следующие ошибки: 1.HOTFIX-219387. Исправлена ошибка вывода в логи партиции. 2. HOTFIX-219043. Исправлена ошибка загрузки шаблонов подключения и проекта в платформе до 8.3.6. 3. HOTFIX-220349. Исправлена ошибка форматирования DateTime64 для ClickHouse.

Выпущен релиз 1.18.1 Denvic Visual Transformer (DVT)! 🚀 Новый функционал: 1. Добавлена поддержка протокола SMB/CIFS. Теперь можно создавать подключения к сетевым файловым шарам (Windows-шары, Samba) для чтения и записи файлов. Подробнее о создании и настройке подключения к SMB читайте в статье. 2. Добавлена нода SMB Connection, которая позволяет получить SMB-подключение в пайплайне, а ноды чтения и записи файлов (Load CSV, Load Excel, Load Parquet, Save CSV, Save Excel, Save Parquet) теперь поддерживают SMB в качестве источника или приёмника данных. 3. В ноды загрузки (Load CSV, Load Excel, Load Parquet) и сохранения файлов (Save CSV, Save Excel, Save Parquet) добавлен раздел «Параметры подключения». В нем можно подставить другой bucket, prefix или initial_directory без создания отдельного подключения. Данный функционал удобен, когда одно S3- или FTP/SFTP-подключение используется с разными подпапками или buckets в разных нодах. 4. Реализована новая каталог-ориентированная модель подключений. Модальное окно создания/редактирования подключения полностью переработано. Теперь типы подключений группируются по категориям с иконками, поля формы генерируются автоматически из схемы типа подключения. Поля сортируются по приоритету (host, port, database — первыми), обязательные поля помечаются. Администраторы и суперадминистраторы могут назначать подключения другим пользователям и организациям. ⚡️ Внесены следующие улучшения: 1. Усовершенствована визуализация файлового менеджера 2. Переработан просмотр логов задачи. Теперь фильтры по уровню (All, DEBUG, INFO, WARNING, ERROR) перенесены в шапку компонента, строка поиска стала компактной на узких экранах, добавлен индикатор «Last entry» с временем, нижняя панель со счётчиком удалена — интерфейс стал чище. 3. Переработан список подключений. Теперь подключения отображаются в раскрывающихся карточках с логотипом типа, деталями (хост, порт, database и т.д.), кнопками проверки, редактирования, удаления и открытия файлового менеджера — вместо прежнего простого списка. 4. В ноде Pivot DataFrame агрегирующие функции теперь автоматически ограничены по типу колонки — для числовых, boolean и timedelta доступны mean, sum, count, first, last, а для остальных типов — count, first, last. Сообщение о ошибке валидации стало информативнее. 5. API подключений полностью переработан. Теперь маршруты /db-connections обслуживаются через библиотеку db-connection с автоматической генерацией схем из каталога типов. Старые типы подключений (ConnectionType) заменены на kind/type/driver. 🐛 Исправлены следующие ошибки: 1. Устранены ложные совпадения при проверке типов портов нод, что могло приводить к некорректной валидации графа пайплайна. 2. В ноде FTP Connection устранена ошибка, при которой нода передавала параметр max_items, не поддерживаемый текущей реализацией FTP-подключений, что могло приводить к некорректному поведению при работе с FTP-соединениями в пайплайне.

Выпущен релиз Инжектора 1С 1.3.9.1 (HotFix) В этом релизе добавлен новый режим вычисления полей, а так же добавлен справочник внешних компонент для подключений Native API. 🚀Новое Доработан режим вычислять поле из значений связанных элементов. Добавлен справочник внешних компонент Native API. ⚙️Изменения Обработка отложенного проведения выставлена по умолчанию. Режим загрузки "Устанавливать" переименован в "По умолчанию". Доработан интерфейс этапов создания проекта. ⚠️Исправления ● исправлена ошибка ожидание старта регламентного задания ● исправлена ошибка чтения таблиц с символами в наименовании ● исправлена ошибка пустого запроса в вычисляемых полях ● исправлена ошибка перехода по ссылке в предпросмотре ● исправлена ошибка при сохранении проекта ● исправлена ошибка логирования проекта ● исправлена ошибка предварительного просмотра документа Чек ККМ Все подробности как всегда доступны в документации.

Выпущен релиз 3.12.1.107 (HotFix) Экстрактора 1С! ⚠️Исправлены следующие ошибки: 1. HOTFIX-219009. Исправлена ошибка «Значение не является значением объектного типа (Использование)», возникающая при редактировании проекта. 2. HOTFIX-218989. Исправлена ошибка выгрузки при не указанном типе (любой тип) источника.