Кейс: как производственное предприятие устранило почти половину дублей в справочниках НСИ

Контекст: производственное предприятие на 1С:ERP

Клиент — производственное предприятие (молочный завод), работающее на 1С:ERP. Справочники НСИ — номенклатура, единицы измерения, контрагенты, склады, организации, виды и группы номенклатуры, сырьё — годами наполнялись разными сотрудниками без единого стандарта именования. Это типовая ситуация для производственных компаний, где 1С:ERP растёт вместе с бизнесом: новые сотрудники, новые филиалы, новые способы вводить одну и ту же позицию под разными именами.

К моменту обращения справочники накопили классическую проблему НСИ: одна и та же товарная позиция существовала под несколькими именами («Молоко 3,2%», «Молоко цельное 3.2», «МОЛОКО 3,2% жирн.»), контрагенты дублировались из-за разного форматирования названий, а часть записей вообще не использовалась годами, но никто не решался их удалить — не было уверенности, что они безопасны к удалению.

Ситуация «до»: почему ручная ревизия была нереалистична

Масштаб проблемы — 130 597 записей по 8 доменам НСИ. Полная ручная ревизия такого объёма заняла бы 8–9 месяцев работы командой из 5–6 сотрудников, занятых практически только этой задачей.

На практике это означает, что предприятие оказывается перед выбором:

• не трогать справочники — хаос копится дальше, аналитика по закупкам, продажам и остаткам становится всё менее достоверной;
• разово почистить вручную — но без изменения процесса ввода данных дубли возвращаются уже через несколько месяцев;
• выделить команду на длительный проект — дорого по времени специалистов и всё равно не даёт гарантии, что ничего важное не удалено по ошибке.

Ключевой барьер для ручной чистки — не только объём, но и риск: специалист физически не может быстро проверить, ссылается ли конкретная запись на документы, регистры накопления и остатки за всю историю базы. Удалить «на глаз» — риск сломать отчётность или движение товара; не удалять — риск, что хаос в справочниках будет расти бесконечно.

Процесс: как проходила нормализация

Нормализация НСИ строилась по стандартной методике из 5 шагов, применяемой для каждого проекта:

Для сравнения: 1С:MDM в такой конфигурации потребовал бы месяцев на внедрение и настройку правил дедупликации, а обычный чат-ботовый ИИ (без доступа к истории использования записей в документах) в принципе не может достоверно определить, безопасно ли удалить запись — он не видит, ссылается ли на неё что-то в базе.

Результат «после»: конкретные цифры

Обработка 130 597 записей по 8 доменам НСИ заняла несколько дней при скорости свыше 25 записей в минуту. Распределение вердиктов по итогам двухпроходного анализа:

Почти половина всего справочника (46%) оказалась дублирующими записями — то есть без нормализации почти каждая вторая позиция в НСИ вносила искажение в аналитику по остаткам, продажам и закупкам. При этом ни один вердикт DELETE не применялся к записи автоматически: безопасность удаления подтверждалась данными из индекса использования, а не предположением модели.

Что это дало бизнесу

Точность отчётности. Когда почти половина справочника — дубли, любой отчёт по продажам, остаткам или оборачиваемости номенклатуры считается по раздробленным данным: одна и та же позиция «размазана» по нескольким записям, и итоговые суммы занижают реальную картину. Устранение дублей — это в первую очередь восстановление доверия к собственной аналитике.

Экономия времени специалистов НСИ. Задача, которая потребовала бы месяцы работы команды из 5–6 человек, была выполнена за несколько дней машинного времени — специалисты НСИ включались в процесс только там, где реально нужна их экспертиза: согласование правил на входе и разбор CLARIFY-случаев на выходе, а не ручной перебор десятков тысяч записей.

Снижение риска ошибки. Каждый вердикт DELETE и MERGE подтверждён реальным использованием записи в документах, а не интуицией — что снимает главный психологический барьер ручной чистки НСИ: страх удалить что-то нужное.

Основа для дальнейшего порядка. Итоговый план — это не разовая уборка, а зафиксированные стандарты именования и накопленная база вердиктов, на которую можно опираться при появлении новых записей в будущем.

Уроки и выводы

1. Масштаб дублей обычно недооценён. Пока не проведён количественный анализ по индексу использования, реальная доля дублей в справочнике неизвестна — интуитивно кажется, что проблема меньше, чем 46%.
2. Ручная ревизия НСИ такого объёма — не вопрос желания, а вопрос физического времени. Месяцы работы командой нельзя ускорить простым распределением задач между большим числом людей без потери качества согласования.
3. Безопасность удаления определяется историей использования, а не внешним видом записи. Запись без явных признаков дубля может годами не использоваться в документах — и наоборот, похожая на «мусор» запись может быть активна.
4. Двухпроходная модель разумно распределяет нагрузку между машиной и человеком. Основной объём типовых решений принимает быстрая модель, а по-настоящему сложные случаи — на разбор специалисту, а не наоборот.
5. Разовая чистка без изменения процесса ввода данных не решает проблему навсегда. Устойчивый результат даёт связка нормализации и накопленной базы стандартов, к которой можно обращаться при появлении новых записей.

Частые вопросы