Что эффективнее: Экстрактор или программист 1С? Извлекаем данные из 1С без написания кода и с помощью BI превращаем в красивый дашборд

Qlever Solutions и Денвик провели совместную онлайн-встречу «Экстрактор vs 1С Программист. Как эффективно выгружать данные из 1С и делать дашборды за 15 минут?», посвященную основным способам извлечения данных из 1С и их использованию для бизнес-аналитики.

В рамках онлайн-встречи CTO Денвик Степан Пыстин, технический директор Qlever Solutions Андрей Харлак и эксперт отдела развития Qlever Solutions Дмитрий Корнеев

• Обсудили, почему извлечение данных из 1С — это больно
• Разобрали плюсы и минусы основных способов выгрузки данных из 1С
• Продемонстрировали выгрузку из 1С «в один клик» с помощью Экстрактора данных 1С в BI от Денвик
• Сравнили, что быстрее и выгоднее: внедрить Экстрактор или привлечь программиста 1С
• На основе извлеченных данных создали визуализации в BI-платформе

Итак, как же быстро выгрузить данные из 1С, чтобы легко разработать на их основе аналитические дашборды и повысить качество управленческих решений?

Бизнес-аналитика начинается с ETL- процессов (Extract, Transform, Load/ Извлечение, преобразование, загрузка).

Данные для BI необходимо извлечь из источника 1С, трансформировать и предоставить BI-системе. Обычно, с этими запросами сотрудники компании обращаются к 1С-программисту.

Первым к программисту 1С приходит аналитик с запросом выгрузки данных из 1С с нужной ему периодичностью в той структуре таблиц, которые он подготовил в базе данных и желательно в полном объеме.

При этом, для администратора 1С важно сохранить производительность базы и обеспечить безопасность данных.
Замыкает эту цепочку директор по ИТ, которому нужно максимально универсальное решение, работающее на большинстве конфигураций платформы 1С.

Для минимальной нагрузки на 1С желательно, чтобы выгружался не весь объем данных, а только измененная часть, то есть инкремент.

Когда программист приступает к реализации, он сталкивается с большим количеством требований и ограничений. К тому же решение необходимо поддерживать и дорабатывать по мере появления новых запросов. Осложняется все тем, что никто не застрахован от того, что программист некачественно выполнит свою работу или решит уволиться.

Для выгрузки программист 1С будет использовать один из 6 способов извлечения данных:

• Web - сервис
• COM – соединение

Первые два способа излечения данных, web-сервис и COM–объект – это всего лишь двери взаимодействия с 1С.
Сами по себе эти инструменты не предоставляют доступ к данным, для них необходимо писать свою логику получения данных из 1С и доставки этих данных в хранилище.

• Протокол OData

API-интерфейс от компании 1С, который есть в большинстве современных конфигураций, хороший инструмент для выгрузки небольших объемов данных.
На больших объемах возникают трудности, связанные с тем, что OData возвращает весь массив данных, никак его не сегментируя.
OData позволяет работать только с объектной моделью данных, построенной уже на стороне хранилища.

• Подключение к SQL-базе в 1С

Прямой доступ в базу данных SQL нарушает лицензионную политику 1С и не обеспечивает необходимую безопасность данных.
Таблицы в сырой базе хранятся в тяжело воспринимаемой человеком структуре, связаны между собой по индексам хранения. Для того, чтобы собрать знакомую карточку номенклатуры или заказа придётся обратиться к десятку таблиц.
К тому же работа на живой SQL-базе создаёт на неё дополнительную нагрузку из BI системы. Если попытаться решить это проблему созданием реплик в технологическое окно, например, ночью, выгружаться будут уже неактуальные данные.

• Выгрузка в формате XLS/CSV/XML
• Обработка 1С

Последние два способа - способы «выталкивания» данных из 1С.
Выгрузка файла в формате XLS/CSV/XML позволяет легко сформировать хорошо знакомый отчёт, сохранить его на диск и обработать. Этот полностью ручной метод выгрузки можно автоматизировать, но каждый раз, когда пользователю потребуется новое поле или выгрузка нового отчёта, необходимо обращаться к программисту 1С.

Все рассмотренные выше способы извлечения данных имеют ряд весомых минусов и требуют постоянной поддержки. При наличии времени и бюджета можно разработать собственные решения для извлечения данных.

Но для того, чтобы создать полноценное, универсальное решение для безболезненной выгрузки данных из 1С необходимо привлекать эксперта, который будут обладать компетенциями:

• 1C - программирование (best practices)
• Кроссплатформенные интеграции
• Знание механик СУБД
• UI/UX

Как правило, такими знаниями обладает 1С-программист уровня senior, час работы которого обойдется примерно в 3000 руб.

Для работы с MVP (Minimal Viable Product, минимально жизнеспособный продукт) потребуется 300–500 часов.

Итого, на реализацию проекта будет затрачено не менее 900 тыс. -1,5 млн рублей.


Другой подход – привлечь на аутстаф программиста 1С для разработки индивидуального решения для текущего проекта.

Кастомная разработка выгрузки под проект составит примерно 200 тыс. руб. / мес.​


Минусы такого подхода в необходимости поддержки и модификации решения при возникновении новых задач.

И в том, и в другом случае, бизнес продолжает активно генерировать идеи, но ему всё время приходится ждать, пока программист выгрузит данные.
Одновременно «простаивает» аналитик, который не может рассчитать необходимые для принятия решений метрики.

Программист 1С становится «бутылочным горлышком» в процессе работы с данными. Если интерпретировать ситуацию с точки зрения теории ограничений, общая производительность цепи (работы с данными) равна пропускной способности этого «бутылочного горлышка».

Чтобы повысить пропускную способность бутылочного горлышка можно:

• Нанять сразу двух программистов, чтобы обрабатывать в 2 раза больше выгрузок, но при этом, тратить еще больше финансовых средств
• Попытаться облегчить жизнь программисту путем внедрения современных подходов разработки - CI/CD, DevOps и т. д.
• Перейти к low-code/no-code подходам разработки, то есть переложить задачи по выгрузке данных с программиста 1С на аналитика

Для реализации подхода эксперты компании Денвик разработали Экстрактор данных 1С. Который позволяет автоматизировать выгрузки из 1С в базы данных ClickHouse, PostgreSQL или Microsoft SQL.

Экстрактор устанавливается как расширение для 1C, настраивается один раз и позволяет ускорить интеграцию и снизить затраты на поддержку баз.

Для работы с Экстрактором не нужно привлекать программиста 1С, для этого достаточно навыков аналитика.
Полученные данные можно использовать для анализа в BI-системах: PIX BI, Yandex Datalens, Power BI и других, или в DWH.

В рамках онлайн-встречи CTO Денвик Степан Пыстин продемонстрировал выгрузку отчетов с финансовыми показателями продаж из 1С:Предприятие 8.3.22.

Как работает Экстрактор 1С?

• Автоматизация и простые настройки

В конструкторе настройки проекта можно выбрать конкретные регистры, документы и срезы данных, настроить расписание выгрузки

• Обработка данных перед выгрузкой

Очистка от дублей и ошибочных данных, шифрование информации

• Выгрузка в хранилище

Экстрактор работает с СУБД Clickhouse, PostgreSQL, Microsoft SQL

• Подключение BI-систем

Данные в СУБД можно использовать для отслеживания показателей бизнеса и построения отчетов в BI-системах


Преимущества Экстрактора 1С:

• Совместим с любой конфигурацией 1С, разработанной на базе платформы 8.2 и 8.3
• Не требует навыков программирования, опыта работы с БД и привлечения ИТ-специалистов, так как настраивается в привычном интерфейсе 1С
• Работает в режиме многопоточности (партицирование), благодаря чему удается достичь скорости выгрузки 1,3 млн записей в час при выгрузке данных в 12 потоков
• Предоставляет возможность инкрементальной загрузки, а также автоматически выгружает во внешнее хранилище все изменения в 1С

Конфигурации платформы 1С содержат данные по разным направлениям бизнеса:

• 1С: Бухгалтерия - данные бухгалтерского и налогового учёта
• 1С: ERP Управление – данные о производственных процессах
• 1С: УТ - об оптовой, оптово-розничной или дистанционной торговле
• Далион и Астор – данные учета в торговых сетях
• 1С: WMS – информация о процессах логистики и складских процессах

После выгрузки с помощью Экстрактора от Денвик данные можно использовать для дальнейшей аналитики продаж, маркетинга, производства и т.д.

В рамках онлайн-встречи технический директор Qlever Андрей Харлак продемонстрировал дашборды, разработанные в BI на основе выгруженных ранее данных.

Данные с финансовыми показателями продаж были извлечены с помощью Экстрактора от Денвик из 1С:Предприятие 8.3.22 и автоматически загружены в таблицы СУБД ClickHouse в привычном для пользователей 1С виде.

На основании этой базы было сформировано представление (view) – объединение таблиц из 1С, справочников номенклатуры и контрагентов. На представлении базируется готовый отчет в BI-платформе.

Дашборды были разработаны в трех приложениях:

• PIX BI
• FineBI
• Qlik Sense

с помощью стандартных визуализаций: круговой диаграммы, секторных графиков, диаграмм Treemap, сводных и детализированных таблиц. Настроены фильтры по менеджерам, номенклатуре и периодам.

Приложения демонстрируют базовые показатели для анализа продаж:

• Общий объём выручки
• Количество заказов
• Средний чек заказа
• Аналитика по группам товаров
• Выручка по контрагентам
• Продажи с детализацией по менеджерам
• Динамика по периодам

На разработку дашбордов на основе выгруженных данных потребовалось от 15 минут до 1 часа в зависимости от выбранной платформы.

Экстрактор от Денвик помогает настраивать и автоматизировать непрерывную выгрузку данных, сокращает затраты на поддержку БД и загрузку программиста 1С.

Экстрактор позволяет легко решить вопрос интеграции 1С и BI.

Qlever Solutions обладает одной из самых обширных в России практик разработки и поддержки BI-решений. Мы проектируем и строим DWH, наводим порядок в данных, помогаем в интеграции систем бизнес-аналитики с внешними платформами, в том числе, с 1С.