Свертка базы SQL + Альтернативный контроль удаления помеченных

Публикация № 139651

Администрирование - Администрирование данных 1С - Свертка базы

183
Свертка базы 1с 8.1, 8.2, 8.3 (может использовать прямые запросы к MSSQL, PostgreSQL). Сворачивает документы, регистры накопления, сведений, бухгалтерии (но не регистры расчета). Универсальна, подойдет к любой конфигурации (обратите внимание на известные ограничения). Включает в себя нестандартный быстрый контроль удаления помеченных объектов и удаление помеченных объектов прямыми запросами. Поставляется с исходными кодами.

Обработка "Свертка базы SQL" позволяет:

1. а) Свернуть данные по регистрам (накопления, сведений, бухгалтерии) на определенную дату.
При этом создаются документы "Ввод остатков свертка базы SQL" с начальными остатками, документы до этой даты помечаются на удаление, движения регистров, итоги и агрегаты до этой даты удаляются. При пометке на удаление документов и удалении движений, итогов, агрегатов регистров могут использоваться прямые запросы к SQL серверу (для ускорения процесса).

1. б) Обрезать данные после указанной даты - например для сохранения копии базы с данными за свернутый год. После заданной даты движения по регистрам (накопления, сведений, бухгалтерии) обрезаются, документы помечаются на удаление.  

* Данные по регистрам расчета данной обработкой не сворачиваются!

* Таблицы Регистрации изменений для регистров (по планам обмена) могут быть либо полностью очищены при свертке либо незатронуты вообще (флаг на закладке Описание).

* При использовании разделения данных с помощью общих реквизитов:
1) Независимо и совместно - чистка помеченных работает, свертка не работает!
2) Независимое разделение - чистка помеченных не работает, свертка не работает!
3) Не использовать - чистка помеченных работает, свертка работает.

* Для выполнения свертки в базу необходимо добавить документ "Ввод остатков свертка базы SQL" и сделать его регистратором всех регистров накопления, сведений, бухгалтерии, он поставляется в .cf файле вместе с обработкой.
(При объединении с .cf файлом отключите все флажки кроме Документов)
Данный документ позволит ввести остатки по регистрам накопления, сведений и бухгалтерии на дату свертки. Если такой документ в базе отсутствует, обработкой можно будет воспользоваться для удаления помеченных объектов и/или для дефрагментации индексов, пересчета статистики.

* Перед запуском свертки важно указать какие документы и регистры нельзя сворачивать!
Например, документы, к которым есть запросы с ключевым словом "Первые" не рекомендуется сворачивать.

* Перед запуском свертки на рабочей базе - протестируйте на копии, сверьте остатки.

2. Удалить с контролем целостности все помеченные объекты. Предоставляется возможность выбора:

- стандартный 1с контроль целостности с удалением помеченных объектов - самый длительный вариант, возможно падение 1с из-за нехватки памяти;

- альтернативный контроль целостности со стандартным 1с удалением объектов - контроль очень быстрый (особенно под 8.2, в том числе в режиме совместимости с 8.1), а удаление по 1000 объектов в транзакции, что быстрее нежели первый вариант;

- альтернативный контроль целостности с удалением прямыми запросами к SQL серверу,
пакетами по 50000 строк - самый быстрый вариант (внимание, при этом не будут вызваны события связанные с удалением объектов - ПередУдалением, ПриУдалении и т.п., и в планах обмена не будут отражаться операции удаления).

3. Просмотреть какие объекты стали причной запрета удаления при альтернативном контроле целостности,
какие поля и/или движения этих объектов стали причиной запрета, с возможностью открыть эти объекты по ссылке.

4. Усечь файлы базы данных SQL после массовых удалений (прямые запросы к SQL серверу).

5. Перестроить либо дефрагментировать индексы (в зависимости от степени фрагментации),
пересчитать статистику, сбросить кэш плана запросов для данной базы (прямые запросы к SQL серверу).
Имеется возможность перестроить индексы в то время как с базой работают пользователи (MSSQL 2005 и выше).

Основные цели свертки:
- Уменьшение размера информационной базы. 
- Увеличение скорости резервного копирования информационной базы и регламентных операций - пересчет статистики, индексов. 
- Возможно некоторое увеличение скорости работы базы, например за счет того, что таблицы и индексы лучше смогут помещаться в оперативной памяти, и уменьшится количество обрабатываемых SQL сервером строк при соединениях таблиц в запросах, для случаев когда SQL сервер не может использовать индексы.

* В настоящее время поддерживаются как файловые так и SQL базы, но прямые запросы доступны только для баз MSSQL, PostgreSQL. Без прямых запросов такие части обработки как пометка документов на удаление, удаление записей регистров и итогов, активизация документов остатков, удаление помеченных объектов будут выполняться значительно дольше. Создание документов ввода остатков, альтернативный контроль удаления помеченных объектов выполняются достаточно быстро и не зависят от прямых запросов.

* Для выполнения прямых запросов понадобятся драйвера ODBC для соответствующего сервера баз данных.
Для MSSQL они обычно входят в поставку. Для PostgreSQL их можно найти тут: http://www.postgresql.org/ftp/odbc/versions/msi/

* Поддерживаются 1с 8.1, 8.2 (в режиме совместимости 8.1), 8.2 (без режима совместимости). Управляемые формы не используются.

* Автору не удалось потестировать обработку на свертке агрегатов регистров оборотов, в регистрации изменений (для планов обмена) операции, выполняемые прямыми запросами, не регистрируются.

Подробнее смотрите в описании самой обработки (по F1).

=============================================

Обработка разбита на этапы, можно использовать ее для всех операций скопом, а можно, например, ограничиться
только сверткой или только удалением помеченных объектов с контролем целостности и/или дефрагментацией
индексов и пересчетом статистики.

Допускается свертка по одному/нескольким регистрам за один раз, на случай когда свертка по всем регистрам
длится очень долго, для этого все остальные регистры необходимо занести в перечень несворачиваемых.

=============================================

Техподдержка

Бесплатная техподдержка (консультации через сообщения на infostart.ru, skype) в течение 30 дней. После - платная 6500 руб. в час.

=============================================

Обновление от 2017-09-12 02:40 мск. Версия 1.2.13

* Версия под 1С 8.3.10.
** MSScriptControl.ScriptControl необязателен.

Обновление от 2013-04-08 23:59 мск. Версия 1.2.12

* Исправлены обнаруженные ошибки
**при свертке прямыми запросами обороты по регистрам бухгалтерии за день свертки не разворачивались по субконто. 

Обновление от 2013-03-21 20:00 мск. Версия 1.2.11

* Исправлены обнаруженные ошибки
**при альтернативном контроле целостности возникала ошибка с прерыванием обработки в том случае если в конфигурации имелись планы счетов с не пустым видом субконто и максимальным количеством видов субконто = 0. 
**при вводе остатков по регистру бухгалтерии без корреспонденции, или с планом счетов, у которого не задан вид субконто или максимальное количество видов субконто = 0 возникала ошибка с прерыванием обработки.

Обновление от 2013-03-12 14:00 мск. Версия 1.2.10

* Исправлены обнаруженные ошибки:
**при альтернативном контроле целостности в некоторых случаях допускалось удаление помеченных объектов на которые имелись ссылки. Для исправления обработки СверткаБазыSQL требуется заменить в модуле формы процедуру "внОбработатьНепомеченные" на её исправленную версию: https://dl.dropbox.com/u/49134062/Procedure_ProcessNotMarked.zip

Обновление от 2013-03-05 15:00 мск. Версия 1.2.9

* Исправлены обнаруженные ошибки:
**при формировании документов ввода остатков в некоторых редких случаях вводились некорректные данные. Для того, чтобы проверить возникла ли ошибка на Ваших данных и получить рекомендации по исправлению данных и кода обработки СверткаБазыSQL, рекомендуется скачать специальную обработку по ссылке: https://dl.dropbox.com/u/49134062/CheckDocsMadeBySvertkaBasySQL.zip

Обновление от 2013-03-01 17:00 мск. Версия 1.2.8

* Исправлены обнаруженные ошибки:
**при соединении с MSSQL игнорировались имя и пароль - использовалась Windows аутентификация (теперь добавлен флаг отключающий Windows аутентификацию)

=============================================

Copyright © 2012-2013 Тарасенков Александр

Гарантия возврата денег

ООО "Инфостарт" гарантирует Вам 100% возврат оплаты, если программа не соответствует заявленному функционалу из описания. Деньги можно вернуть в полном объеме, если вы заявите об этом в течение 14-ти дней со дня поступления денег на наш счет.

Программа настолько проверена в работе, что мы с полной уверенностью можем дать такую гарантию. Мы хотим, чтобы все наши покупатели оставались довольны покупкой.

Для возврата оплаты просто свяжитесь с нами.

183

Скачать файлы

Наименование Файл Версия Размер
Свертка базы SQL + Альтернативный контроль удаления помеченных - Без использования прямых запросов
.zip 415,15Kb
12.09.17
639
.zip 415,15Kb 639 Скачать бесплатно
Инструкция к обработке СверткаБазыSQL
.zip 109,98Kb
12.09.17
470
.zip 109,98Kb 470 Скачать бесплатно
12.09.2017
1.2.13 63 6500 руб.

Моментальная
доставка

12.09.2017
0 6500 руб.


Новый вопрос

E-mail*

Специальные предложения

См. также

Быстрая свертка базы 1С средствами SQL 1

Инструменты и обработки Системный администратор Программист Пользователь Расширение (cfe) v8 БП3.0 УТ11 Платные (руб) Свертка базы Администрирование СУБД

Сверните базу данных 1С:Предприятие 8.3 в 10-20 раз быстрее! (для клиент-серверного варианта работы)

25000 руб.

28.10.2019    1707    10    0       

Мониторинг баз и серверов 1С 22

Инструменты и обработки Системный администратор Конфигурация (md, cf) v8 Windows Платные (руб) Журнал регистрации Статистика базы данных Производительность и оптимизация (HighLoad)

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение системы, получение информации о причинах возникновения проблем и их оперативное устранение и т.д. В качестве источников информации использую консоль кластеров 1С, технологический журнал 1С, журналы регистрации базы 1С. Для автоматизации части операций мониторинга и анализа создал инструмент на основе 1С.

7500 руб.

28.08.2019    3109    26    2       

Как свернуть базу УТ 10.3 28

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::ОУ УТ10 Россия УУ Платные (руб) Свертка базы

Как свернуть УТ 10.3. Цель свертки - свернуть остатки по товарам и по взаиморасчетам с контрагентами.

1500 руб.

04.04.2019    6253    25    4       

Универсальная обработка удаления данных 5

Инструменты и обработки Программист Архив с данными v7.7 v8 1cv8.cf 1cv7.md Россия Платные (руб) Универсальные обработки Чистка базы

Универсальная обработка удаления как помеченных, так и не помеченных объектов конфигураций 1С 7.7, 8.2, 8.3.

1000 руб.

05.02.2019    4463    0       

Расширение для очистки дублей в синхронизированных базах (УТ, БП, РТ, УНФ) 4

Инструменты и обработки Системный администратор Программист Бухгалтер Расширение (cfe) v8::УФ 1cv8.cf Россия Платные (руб) Чистка базы

Решение по удалению дублей позволяет определить связанные элементы в двух синхронизированных базах в качестве оригиналов и избежать необходимости ручного сравнения объектов в базах перед синхронизацией.

1000 руб.

27.06.2018    6336    0       

Онлайн-курс "Подготовка к экзамену 1С:Эксперт и 1С:Профессионал по технологическим вопросам" с 30 ноября по 22 декабря 2019 г. 92

Курс Системный администратор Программист Курс v8 Платные (руб) Производительность и оптимизация (HighLoad) Решение задач на 1С:Специалист

На курсе вы получите практические навыки решения задач производительности 1С, в том числе характерных для высоконагруженных информационных систем (более 1000 пользователей). Подготовка к экзамену – только одна из составляющих курса. 70% слушателей приходят за знаниями, которые позволят расти и зарабатывать, делать сложные задачи на крупных проектах.

16450 руб.

30.05.2018    33367    5       

Многопоточность. Универсальный «Менеджер потоков» 2.0 214

Инструменты и обработки Программист Конфигурация (md, cf) v8 1cv8.cf Россия Платные (руб) Производительность и оптимизация (HighLoad) Инструментарий разработчика Математика и алгоритмы Универсальные функции

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

3000 руб.

07.02.2018    67365    174    52       

Система сбора и анализа информации по производительности работы баз данных, работающих  под связкой «кластер 1С 8.2/8.3 - Microsoft SQL server» 69

Инструменты и обработки Системный администратор Программист Архив с данными v8 Россия Windows Платные (руб) Производительность и оптимизация (HighLoad)

Инструмент в помощь специалисту по производительности sql-серверов с базами 1С. Программа (c#) собирает наиболее заметные (по времени исполнения, физическим / логическим чтениям / загрузке CPU ) запросы, группирует по обобщенным текстам запросов и контекстам исполнения 1С (если есть), предоставляет информацию в виде отчетов по наиболее заметным запросам и прочей информации (длительные запросы по данным техжурналов, содержимое буферпула в динамике, содержимое клерков памяти, ожидания сервера в разрезе бд, статистика ввода-вывода по файлам баз).

10000 руб.

12.12.2017    12466    88    8       

Комплекс подготовки к свертке базы (удаление данных 8.1, 8.2, 8.3, обычные формы) 0

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Windows Платные (руб) Чистка базы

Удаление данных прямыми SQL-запросами объектов ссылочного типа и регистров, в том числе с контролем ссылочной целостности.

6000 руб.

13.11.2017    8648    1    3       

Устранение расхождений между регистрами РАУЗ (регл) и регистрами учета ТМЦ, НЗП в УПП 1.3 и КА 1.1 29

Инструменты и обработки Бухгалтер Внешняя обработка (ert,epf) v8 КА1 УПП1 Россия БУ НУ УУ Windows Закрытие периода Производство готовой продукции (работ, услуг) Платные (руб) Чистка базы Поиск данных

Наведите порядок в остатках номенклатуры и НЗП в УПП Устраните расхождения в остатках номенклатуры Устраните расхождения в остатках НЗП Устраните отрицательные остатки в учете ТМЦ и НЗП

6000 руб.

08.09.2015    34162    96    11       

Оптимизация запросов 1С - от теории к практике 99

Инструменты и обработки Программист Курс v8 1cv8.cf Платные (руб) Производительность и оптимизация (HighLoad) Практика программирования Математика и алгоритмы

Желаете повысить свой уровень разработки? Не знаете, как оптимизировать работу тяжелых запросов 1С? Или знаете методы оптимизации, но на практике не получаете результат? Тогда эта интерактивная обучающая программа для Вас! Оптимизация запросов прямо в программе 1С:Предприятие 8. Несколько десятков практических заданий, рассматривающих методы оптимизации на практике. От Вас требуются реальные решения - оптимизация представленных запросов. Автоматизированная система оценит Ваш запрос и представит результат проверки.

1500 руб.

06.07.2015    51599    326    4       

Выборочное удаление организаций из баз (управляемые формы), с удалением всех ссылающихся на эти организации данных 137

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Windows Платные (руб) Чистка базы

Позволяет удалить организации из любых программ на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера.

2985 руб.

16.03.2015    65320    545    44       

Альтернативный контроль помеченных и быстрое удаление средствами SQL 44

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Windows Абонемент ($m) Свертка базы Чистка базы

Эта обработка является логическим продолжением статьи "Свертывание объемной базы средствами SQL" http://infostart.ru/public/249429

1 стартмани

27.01.2014    38105    497    barelpro    46       

Правильная свертка или свертка базы по правилам 322

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Россия Windows Платные (руб) Свертка базы Чистка базы

Обработка "Свертка базы по правилам" предназначена для свертки информационных баз системы программ "1С:Предприятие" версии 8.2. Основой обработки являются специальные правила свертки, которые создаются индивидуально для каждой конфигурации информационной базы. Встроенный в обработку генератор правил позволяет быстро создать правила свертки для любой конфигурации. Например, для конфигурации "1С:Бухгалтерия 8, ред. 3.0" правила свертки были созданы за 15 минут!

2000 руб.

22.07.2013    120395    1347    468       

Выборочное удаление помеченных объектов с отображением иерархии ссылок (с возможностью немонопольного удаления, порционного удаления, быстрой очистки регистров сведений для управляемых форм 1С 8.2) 31

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Россия Windows Платные (руб) Чистка базы Поиск данных Универсальные обработки

Обработка для выборочного удаления помеченных на удаление объектов с возможностью отображения дерева ссылок на помеченный объект,а также последующего удаления объектов по данным найденным ссылкам в этой иерархии из-за чего первоначальный объект удалить невозможно (так называемый "рекурсивный обход"). Обработка позволяет вручную проставить пометки на удаление, включая записи регистров сведений. Также она позволяет производить т.н. "порционное удаление" объектов, то есть порциями с настраиваемым количеством штук в одной порции и периодом повторных запусков удаления следующих порций. Также в обработке можно устанавливать период для документов, из которого обработка начнет искать помеченные на удаление.

3990 руб.

23.08.2012    41283    15       

Очистка базы от документов УУ, версия на SQL 1

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 УПП1 Россия Windows Платные (руб) Чистка базы

Если вам нужно быстро очистить базу от документов и их движений, которые проведены только в УУ, то эта обработка для вас.

1000 руб.

22.11.2011    10167    30    9       

Универсальная свертка базы 1С:Предприятие 8 296

Инструменты и обработки Системный администратор Программист Конфигурация (md, cf) v8 1cv8.cf Платные (руб) Свертка базы

Разработка универсальна, работает на любой конфигурации, на версиях платформ 8.1 и 8.2. Исходные коды открыты. Усекаются сразу все разделы учета (регистры бухгалтерии, регистры накопления, регистры сведений). Разработка представляет из себя cf-файл с одним единственным документом: ЗакрытиеПериода. В нём содержится функционал как по заполнению, так и по очистке регистров. Так же для версии 8.2 возможна переброска данных в "чистую" базу нажатием одной кнопки.

4000 руб.

21.02.2011    89354    1195    242       

Подсистема "Настройка контроля заполнения объектов в момент записи 3.1.3" для 1С: Предприятия 8.1 / 8.2 81

Инструменты и обработки Системный администратор Программист Конфигурация (md, cf) v8 1cv8.cf Россия Платные (руб) Производительность и оптимизация (HighLoad)

Универсальный механизм установки контроля на заполнение любых реквизитов и табличных частей справочников, документов, бизнес-процессов, задач, планов обмена, планов видов характеристик в режиме предприятия (без использования конфигуратора).

1000 руб.

24.10.2009    22424    680    98