Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch

Публикация № 1058443

Администрирование - Администрирование данных 1С - Журнал регистрации

Журнал регистрации ElasticSearch Kibana администрирование мониторинг быстрый поиск эластик логи elastic

Elasticsearch - это opensource решение для очень быстрого поиска данных в больших массивах информации. Использование этого решения позволит решить проблемы с поиском и анализом больших объемов информации журнала регистрации. Протестировано на платформах начиная с 8.3.10.2580.

Позволяет загрузить в единое хранилище данных разнородную информацию в JSON-формате, а затем производить выборки детальной и агрегированной информации.

Это не реляционная база данных. Взаимосвязей между разнородными объектами нет, поэтому сфера применений для учетных задач ограничена, но многие технологические задачи можно решать весьма эффективно.

Для выгрузки журнала регистрации потребуется сервер с установленным ElasticSearch для загрузки в него данных и Kibana, которая служит для визуализации данных, поиска информации и построения готовых дашбордов и виджетов.

Описание и инструкции по установке ElasticSearch, вопросы безопасности/разграничения доступа к ElasticSearch/Kibana, настройка сертификатов, кластеризация и масштабирование ElasticSearch не рассматриваются т.к. это не входило в изначальную задачу.

Для внедрения подсистемы в свою конфигурацию необходимо запустить сравнение объединение с конфигураций в файле и выбрать в подменю "Действия" - "Отметить по подсистемам файла". После объединения необходимо зайти в режим 1С Предприятия и заполнить константы для ElasticSearch (пример есть на изображениях).

Быстрый старт:

 1)     Подключиться к инструменту – Kibana по ссылке «адрес сервера:5601»

 

 2)     Перейти на вкладку Discover и выбрать индекс индекс необходимой базы

 

 3)     В правом верхнем углу выбрать предлагаемый период:

Либо выбрать конкретный промежуток времени:

              

4)     На графике можно увидеть динамику количества записей в данный период времени:

 

 5)     Для поиска конкретной информации можно воспользоваться фильтрами по полям:

 6)     Пример поиска по событий по документам:

 

Скачать файлы

Наименование Файл Версия Размер
Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch:
.cf 12,93Kb
08.05.19
23
.cf 12,93Kb 23 Скачать

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. pbabincev 115 15.05.19 14:49 Сейчас в теме
2. GreenDragon 15.05.19 15:00 Сейчас в теме
С какой версией elastic общается подсистема?
4. Nikolo17 48 16.05.19 07:40 Сейчас в теме
(2) Должна работать начиная с 6 версии, на текущий момент обновлялись до версии 6.7.
6. GreenDragon 16.05.19 07:46 Сейчас в теме
(4) Ковыряюсь с 7. Много различий с 6?
Предыдущая версия подобной подсистемы работала с 5 и отличий был вагон
7. Nikolo17 48 16.05.19 07:58 Сейчас в теме
(6) Да API 6 версии сильно отличается от 5, тоже сначала с 5 работали. На 7 версию в планах переходить, по описанию существенных изменений в API не увидел.
8. GreenDragon 16.05.19 08:01 Сейчас в теме
(7) Спасибо за информацию. В таком случае после сегодняшнего хакатона будем качать и пробовать.
3. metmetmet 77 15.05.19 19:47 Сейчас в теме
В статье не описано, но обычно интересует следующее:
Как реализована выгрузка: один раз выгружаются данные и анализируются, или периодически выгружаются только новые данные или ещё как-то?
Есть зависимость от формата ЖР?
5. Nikolo17 48 16.05.19 07:44 Сейчас в теме
(3) Выгружаются данные за промежуток времени один раз, далее подгружаются актуальные данные с настаиваемой периодичностью. От формата жр зависимости нет.
9. user612295_death4321 19.05.19 19:07 Сейчас в теме
Не анализировали случайно сколько места будет потреблять 1 день журнала регистрации? Например если сравнить занимаемый объем за день ldf / ldg файла и залитый этот же день в Elasticsearch ?

Ищу какое нибудь решение которое позволит загружать большие журналы регистрации (цифры идут около 25 ГБ в сутки). Когда то рассматривал варианты Elasticsearch или ClickHouse от яндекса, но дальше рассматривания дело не дошло)

Или может кто-то может порекдомендовать решение кто и как складирует монструозные объемы логов ?
10. Nikolo17 48 20.05.19 12:42 Сейчас в теме
(9) У нас выбор был между InfluxDB и Elastic. Остановились на втором варианте, поскольку был какой то опыт работы с ним. Размеры прогнозировать сложно, все зависит от количества записей в журнале, и размеров строк в записях. Если отталкиваться от размеров журнала в месяц то в Elastic он занимает в 2-3 раза больше места. Но опять же есть настройки самого Elastic которые могут сокращать или увеличивать этот размер, зависит от того что важнее нагрузка на железо или занимаемое место.
11. Semyonat 21.05.19 11:27 Сейчас в теме
Подскажите, а как вы решаете вопрос с идентификацией объектов. Для примера какой пользователь проводил тот или иной документ? Может у вас есть отдельные таблички с идентификаторами, и вы их соединяете или как некоторые выгружаю в индекс сразу с понятным названием?
12. Nikolo17 48 22.05.19 08:31 Сейчас в теме
(11) По умолчанию выгружается представление объектов (для документа по умолчанию дата и номер) и вполне можно по нему найти все операции. Имя пользователя и его идентификатор так же выгружаются по умолчанию, если необходимо то есть возможность добавлять поля на стороне 1с при выгрузке в elastic (программно), например поля конкретных объектов. При загрузке elastic автоматически добавляет необходимые поля в структуру, так же есть возможность самому редактировать структуру полей через rest api, но это в данной подсистеме не реализовано.
Оставьте свое сообщение

См. также

TextRadar - нечеткий поиск в тексте Промо

Разработка внешних компонент Поиск данных v8 1cv8.cf Абонемент ($m)

В отличие от нечеткого сравнения строк, когда обе сравниваемых строки равнозначны, в задаче нечеткого поиска выделяются строка поиска и строка данных, а вычислить необходимо не степень похожести двух строк, а степень присутствия строки поиска в строке данных. Нормированный коэффициент, находящийся между 0 и 1 позволяет отсечь заведомо низкие результаты, организовать поиск по синонимам и т.д. Наглядное отображение результатов в кратком и детальном виде поможет быстро найти интересующий фрагмент.

1 стартмани

19.09.2018    13779    15    TSSV    14    

Быстрая функция поиска ссылки по УИД(GUID)

Поиск данных Прочие инструменты разработчика v8 1cv8.cf Россия Абонемент ($m)

Простая, а самое главное быстрая функция поиска ссылки на объект в информационной базе по УИД(GUID) через запрос.

1 стартмани

11.04.2020    3343    8    Kondratenko.as    27    

Поиск пересекающихся ссылок на комбинации объектов с ограничением области поиска по метаданным

Поиск данных v8 1cv8.cf Абонемент ($m)

Обработка ищет все объекты базы, в которых одновременно присутствуют перечисленные элементы. Построена на базе типовой обработки Все функции - Стандартные - Поиск ссылок на объект, но позволяет накладывать отбор не по одному объекту, а по нескольким, что позволяет настраивать поиск по комбинациям условий. И ограничивать область поиска.

1 стартмани

12.03.2020    3293    9    sapervodichka    18    

Мастер полнотекстового поиска

Поиск данных v8 v8::УФ 1cv8.cf Абонемент ($m)

Набор инструментов для работы с полнотекстовым индексом платформы 1С. Стандартные и расширенные возможности.

2 стартмани

07.02.2020    4436    34    YPermitin    28    

Отчет по журналу регистрации Промо

Журнал регистрации v8 v8::СКД 1cv8.cf Россия Абонемент ($m)

Отчет по журналу регистрации с использованием СКД.

2 стартмани

25.07.2011    32168    98    wowik    33    

История версий объектов для УФ

Журнал регистрации Обработка документов Обработка справочников v8 v8::УФ 1cv8.cf Россия Абонемент ($m)

Универсальная независимая система хранения и анализа истории изменений справочников и документов. Предназначена для любых конфигураций 1С V83 ((8.3.9.1818) и выше) в режиме управляемого приложения.

1 стартмани

17.10.2019    10263    26    dmitrydemenew    22    

Быстрый поиск в журналe регистрации 1С *.lgd

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Обработка для быстрого поиска данных в журнале регистрации 1С SQLite (.lgd). 8.3.15.

1 стартмани

10.10.2019    5256    13    andboss    3    

Сложнейшая загрузка журнала регистрации в ElasticSearch (или делаем настоящий ETL)

Журнал регистрации v8 Россия Абонемент ($m)

Году в 2017ом возникло (наверное странное на тот момент) желание перегрузить журнал регистраций 1С в ELK. Чтобы журналы место на диске не съедали, 1С программисты забыв поставить фильтр сервер не подвешивали, все журналы лежали в одном месте да и можно было безопасно туда ответственных пользователей пускать, чтобы сами смотрели кто какой документ поправил.На предложение написать выгрузку сразу из 1С программисты благополучно забили ("ой на это минимум месяц", "у нас срочные бизнес-фичи" и т.д. и т.п.). Зато попалась статья от Aleksey.Bochkov (https://infostart.ru/public/182820/). Ну и решили мы все это запилить без 1С программистов. Во что влезаем я тогда еще не понимал. А вылилось почти в год допилок (хорошо хоть в фоновом режиме) в цельный ETL с использованием C#, T-SQL и прочими делами.

1 стартмани

27.09.2019    8170    6    DonAlPatino    33    

Журнали2Ст: сверхбыстрый журнал регистрации 1С

Журнал регистрации v8 Абонемент ($m)

Строит внешний индекс по журналам регистрации любого формата и делает поиск в них фантастически быстрым. Дополнительно ничего не нужно настраивать! Журналы Регистрации остаются на своём месте и не занимают дополнительного, а сервис Журнали2Ста обеспечивает их постоянную индексацию.

1 стартмани

22.08.2019    9446    71    MrWonder    63    

Сценарное сравнение данных (версия 1.4.7)

Поиск данных v8 1cv8.cf Абонемент ($m)

Прикладное решение Сценарное сравнение данных (ССД) предназначено для автоматизации процесса поиска расхождений в данных.

1 стартмани

18.08.2019    4272    10    sertak    16    

Запуск встроенного в платформу механизма История данных для ленивых

Журнал регистрации v8 1cv8.cf Абонемент ($m)

В последних версиях платформы 1С появился замечательный механизм Истории данных. Если кратко, механизм позволяет сохранять историю, просматривать, сверять и самое приятное, это восстанавливать любую версию объекта. А самое главное, чтобы это заработало, не нужно продумывать, писать и поддерживать тонны кода, все уже сделано за нас... Возникает вопрос: Как запустить встроенный в платформу механизм Истории данных ничего не кодируя?

1 стартмани

24.05.2019    5792    6    _root    13    

Отчет по журналу регистрации для управляемого приложения Промо

Журнал регистрации v8 v8::УФ v8::СКД 1cv8.cf Абонемент ($m)

Отчет по журналу регистрации с использованием СКД

2 стартмани

04.02.2013    24482    167    wowik    12    

Отчет для просмотра отчетов, которые запускали пользователи

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Отчет отвечает на вопрос: кто, и как часто формирует отчеты. Было протестировано на Управлении торговлей, конфигурация 11.4.1.273.

1 стартмани

18.05.2019    4289    7    Mari_Kuznetzova    3    

История выполнения фоновых заданий в виде диаграмм (версия 6.5.21)

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Отчет предназначен для получения из журнала регистрации данных об истории выполнения фоновых заданий и отображения их в виде диаграмм.

1 стартмани

26.04.2019    5816    25    sertak    25    

Как отправить ошибки из журнала регистрации на почту?

Журнал регистрации v8 УПП1 Абонемент ($m)

Процедуры отправки ошибок из журнала регистрации на почту. Журнал регистрации выгружается в файл Excel, далее прикрепляется к письму. Для отправки писем создано регламентное задание.

1 стартмани

06.02.2019    7839    1    wowik    0    

Ошибки, предупреждения и прочее из журнала регистрации на почту и в Telegram автоматически (БП 3, ЗУП 3.1, УТ 11.4, ERP 2.4, Розница 2.2)

Журнал регистрации Поиск данных Тестирование и исправление Email v8 Розница УНФ ERP2 ЗКГУ3.0 БП3.0 УТ11 ЗУП3.x Абонемент ($m)

Данная обработка позволяет анализировать журнал регистрации с пользовательским отбором (4 критерия отбора) и высылать отчет пользователю с заданной периодичностью на электронную почту или в Телеграм. Возможно использовать как регламентное задание (автоматическая отправка отчетов по времени), непосредственно запускать из клиента, а также выгружать в форму обработки отфильтрованные данные из журнала регистрации без отправки.

2 стартмани

28.01.2019    7644    31    Redinternational    3    

Сравниваем Управление торговлей 11.4 и Бухгалтерию предприятия 3.0 после обмена

Закрытие периода Анализ учета Поиск данных Закрытие периода Закрытие периода v8 БП3.0 УТ11 Россия БУ УУ Абонемент ($m)

Вам приходилось проверять результаты корректности данных после переноса из УТ в БП? Если "ДА", то Вы знаете какое это "приятное дело". Данная обработка была написана для того, чтобы это стало менее "приятно". И осталось больше времени для других дел.

1 стартмани

07.12.2018    5581    17    RomikR    10    

Мониторинг активности пользователя

Журнал регистрации v8 БП3.0 Россия Абонемент ($m)

Расширение предназначено для мониторинга активности пользователей, фиксирует какие окна открывал и когда пользователь в программе. Автоматически завершает работу не активных пользователей, что позволяет экономить системные ресурсы. Есть отчет об Активности пользователей по часам с возможностью отбора по конкретному пользователю. Расширение для типовых конфигураций 1С на управляемых формах в режиме совместимости 8.3.12.

1 стартмани

26.10.2018    6052    56    xan333    7    

Нестандартные подсистемы: Живая вода

Поиск данных Тестирование и исправление v8 1cv8.cf Абонемент ($m)

В БСП есть все, чтобы справиться с проблемой «Битых ссылок», но почему-то так и не реализовали возможность сохранять версию объекта перед удалением. Решил исправить эту досадную несправедливость и создать подсистему с кодовым названием «Живая вода».

1 стартмани

11.10.2018    9292    2    dsdred    14    

Поиск документов по представлению

Обработка документов Поиск данных v8 КА1 БП2.0 УТ10 УПП1 БП1.6 Абонемент ($m)

Обработка позволяет найти в БД документы по их представлению и впоследствии выполнить их обработку.

2 стартмани

11.09.2018    7062    3    SITR-utyos    0    

Поиск и восстановление битых ссылок (Объект не найден)

Поиск данных Тестирование и исправление v8 v8::УФ 1cv8.cf Абонемент ($m)

Групповая обработка ссылок вида Объект не найден (502:37855254002e11eb11e73b8f36150d9e) заполняется максимально просто копированием и вставкой из буфера: 1) Выделяет уникальные идентификаторы (далее УИ); 2) Ищет ссылки на объекты базы по УИ; 3) Создаёт пустые объекты с указанным УИ; 4) Регистрирует найденные ссылки для обмена данными. Работает на любых продуктах 8.3. Проверялась на 1С:ERP Управление предприятием 2 (2.4.3.167)

1 стартмани

17.08.2018    10261    78    sapervodichka    2    

Повышение качества разработок и онлайн контроль ошибок Промо

Журнал регистрации v8 Абонемент ($m)

Анализ ошибок и сбор ошибок журнала регистраций из десятков и сотен баз в одном месте.

09.03.2018    24589    8    DitriX    48    

Мониторинг журнала регистрации при помощи Powershell

Сервисные утилиты Журнал регистрации v8 Абонемент ($m)

Работа с журналом регистрации в формате SQLite внешними средствами на примере мониторинга изменений в конфигурации базы данных.

1 стартмани

12.07.2018    11840    5    user768334    7    

Журнал регистрации 1С (sql lite) в web app

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Данная публикация рассматривает построение компонентного решения работы журнала регистрации в стороннем приложении(web app). Встала задача миграции sql lite жр во внешнюю базу. Данное решение было создано: 1. для хранения жр за весь период 2. для ускорения работы с жр 3. для ускорения сервера предприятия, так как именно он (а точнее рагент) пытается записать данные в жр sql lite(фактически файл на диске), после увеличения размера файла более 10 гб, поступали жалобы по вопросу быстродействия 1с (и не только ради этого) Данная публикация может быть полезной администраторам, программистам, оптимизаторам.

1 стартмани

09.07.2018    8592    6    dmarenin    8    

R2-D2: журнал регистрации, монитор обменов, аварийные уведомления

Сервисные утилиты Распределенная БД (УРИБ, УРБД) Администрирование данных 1С Журнал регистрации v8 Россия Абонемент ($m)

Обслуживание Журналов регистрации нескольких баз 1С. Сбор и обработка сведений о статусах обменов баз 1С, рассылка аварийных уведомлений.

2 стартмани

14.06.2018    12293    16    pbabincev    8    

Универсальный поиск объектов по глобальному уникальному идентификатору (ГУИД, GUID) Промо

Универсальные обработки Поиск данных v8 v8::УФ 1cv8.cf Абонемент ($m)

Универсальная обработка поиска объектов информационной базы по глобальному уникальному идентификатору (ГУИД, GUID) или по его части.

1 стартмани

06.09.2016    29786    100    Dzenn    9    

Отчет "История изменения объектов" на СКД для УПП и КА (версии объектов) с использованием версионирования объектов

Журнал регистрации v8 v8::СКД КА1 УПП1 Абонемент ($m)

Отчет "История изменения объектов" предназначен для отображения изменений объектов (справочники и документы) за указанный период и с учетом отбора по заданным параметрам объектов. Работает в конфигурациях УПП 1.3 и КА 1.1

5 стартмани

22.05.2018    9060    52    mrm1212    11    

Интерфейс для истории данных (платформенное версионирование) в режиме обычных форм

Журнал регистрации v8 v8::УФ 1cv8.cf Россия Абонемент ($m)

Как известно, в версии платформы 8.3.11 появился встроенный в платформу механизм версионирования "История данных", однако штатных средств работы с ним в платформе при работе в режиме обычных форм не предусмотрено. Данная обработка предоставляет интерфейс для взаимодействия с механизмом истории данных, функционально сходный с интерфейсом, встроенным в платформу при работе в режиме управляемого приложения.

1 стартмани

12.01.2018    16223    51    Prometeus2011    10    

Подсистема логирования

Сервисные утилиты Журнал регистрации Инструментарий разработчика v8 Россия Абонемент ($m)

Ведение структурированного лога с возможностью записи сообщений в регистр сведений текущей/внешней ИБ, а также произвольного хранилища.

1 стартмани

11.09.2017    10202    7    shmalevoz    0    

История работы пользователей

Поиск данных v8 v8::УФ ERP2 Россия Абонемент ($m)

Подключаемая обработка для просмотра истории работы конкретного пользователя

1 стартмани

17.07.2017    14304    45    PerlAmutor    16    

Узнать дату создания объекта (расширение для конфигурации)

Поиск данных v8 1cv8.cf Абонемент ($m)

Расширение позволяет узнать, когда был создан элемент справочника или документ.

1 стартмани

19.06.2017    10985    5    odineskin2    1    

Поиск и восстановление битых ссылок (обычная и управляемая форма) 8.2-8.3

Универсальные обработки Поиск данных Тестирование и исправление v8 v8::УФ 1cv8.cf Абонемент ($m)

Обработка для поиска и восстановления битых ссылок (Объект не найден). Адаптирована для конфигураций на обычных и управляемых формах 8.2 - 8.3

1 стартмани

08.04.2017    29585    375    Xershi    64    

Поиск, восстановление битой ссылки, 8.3, v 0.2 Промо

Поиск данных Тестирование и исправление v8 1cv8.cf Абонемент ($m)

Обработка для работы с битой ссылкой, 8.3, v 0.1 Позволяет быстро найти и восстановить битую ссылку.

1 стартмани

24.10.2014    33825    271    infostart user    13    

Сравнение данных справочника и документа в 2-х базах

Поиск данных v8 1cv8.cf Абонемент ($m)

Данная обработка позволяет сравнивать данные в 2-х базах. Подключение через com-объект. Можно выбрать, какие метаданные сравнить. Сравнение происходит в запросе.

3 стартмани

22.02.2017    10295    16    lesasd    1    

Удобный просмотр изменений объектов пользователями

Журнал регистрации v8 Абонемент ($m)

Быстрый и удобный просмотр всех изменений объекта в разрезе пользователей в хронологическом порядке.

1 стартмани

01.11.2016    10433    11    TreeDogNight    11    

Журнал регистрации в MongoDB

Журнал регистрации v8 1cv8.cf Абонемент ($m)

Хранение "журнала регистрации" в nosql базе. 1) Java-api 2) MongoDB 3) доработать конфу в нужных местах

1 стартмани

27.10.2016    13866    7    sockor    4    

Включение и выключение регистрации отказа в доступе если "У пользователя не достаточно прав над операцией с базой данных". Промо

Информационная безопасность Журнал регистрации v8 1cv8.cf Абонемент ($m)

Включает (выключает) регистрацию событий отказа доступа в журнале регистрации.

1 стартмани

12.01.2011    33009    63    nexts    32    

Инструменты: v81_82_83: об./упр. формы. Отключение пользователей: файловый, кл-сервер. Запуск/Вход под другим польз-м. Поиск ссылок на объект СКД. Консоль запр. Отладка ВПФ и ОЗТЧ. Гр.печать, Перепровед-е немоноп-е и др.(Один архив)

Поиск данных Администрирование данных 1С v8 v8::УФ v8::СКД 1cv8.cf Россия Абонемент ($m)

Набор внешних обработок необходимый перед обновлением базы и проверки внесенных изменений после, которые сделал и пользуюсь уже несколько лет и периодически одной из них, да и не окажется под рукой.

1 стартмани

06.09.2016    15200    95    Светлый ум    110    

Статистика работы пользователя Промо

Журнал регистрации Управленческие Статистика базы данных Учет рабочего времени Учет рабочего времени v8 1cv8.cf Абонемент ($m)

Анализ работы сотрудников - важные составляющие функционирования компании. Безусловно, руководитель может самостоятельно оценивать труд работников, деятельность которых как на ладони, стоит лишь взглянуть на поступление денег на банковский счет фирмы. Сложнее оценить работу сотрудников, которые не имеют прямого влияния на бизнес-результат: это бухгалтеры, кадровые работники, менеджеры.

3 стартмани

17.07.2011    44276    330    imozg    63    

Просмотр документов, измененных задним числом Промо

Журнал регистрации v8 УТ10 Россия Абонемент ($m)

Редактирование документов в 1С, проведенных задним числом, бывает необходимо для исправления ошибок в учете, но также является распространенным способом воровства в магазине. Поэтому важно максимально ограничить работу задним числом.

2 стартмани

12.08.2015    26248    53    ПерваяСистема    16