Нормализация справочника номенклатуры МТР: почему дубли возвращаются и как проверять кандидатов

30 сентября 2026 · Руслан Гельманов · Метод и качество данных

Как дубли появляются снова

Справочник материалов и запасных частей почистили перед миграцией в новую ERP или EAM. Через несколько месяцев в нём снова повторы.

• ремонтник ищет подшипник по обозначению из руководства и не находит его в системе;
• заявка уходит на создание новой позиции, хотя деталь уже лежит на складе под другим кодом;
• закупка заказывает деталь, а позже на складе находятся ещё несколько штук под другим кодом;
• при смене поставщика или номера производителя создаётся новая карточка вместо ссылки к старой;
• после объединения справочников двух площадок повторов становится больше, а не меньше.

Последствия: лишний запас, разделённая история потребления, неверная точка перезаказа и простой, когда нужная деталь есть, но её не видно в системе.

Почему очистка НСИ по тексту не держится

Типовая очистка работает с текстом записи: выравнивает написание, убирает спецсимволы, сводит строки с похожими описаниями. Этого недостаточно по трём причинам.

1. У значения нет источника. Неизвестно, откуда в карточке «25×52×15» и можно ли ему верить. Через год запись снова правят по памяти.
2. Нет правила создания. Если позицию трудно найти, новую создают быстрее, чем ищут старую. Очистка без контроля на входе остаётся разовой уборкой.
3. Сходство текста не доказывает совпадение. Алгоритм сводит похожее и пропускает описанное по-разному.

Отдельная ошибка — идти по справочнику в порядке хранения. Большая часть строк — крепёж и расходники. Дубли подшипников крупных агрегатов, редукторов и электродвигателей составляют малую долю записей, но держат значительную часть стоимости запаса. Проверку кандидатов разумно начинать с них.

Какой результат нужен

Нужна не разовая очистка, а структура, которая не даёт дублям вернуться.

Какие источники используются

Каких данных обычно не хватает

• производителя и полного обозначения с суффиксами исполнения;
• единиц измерения или единого способа их записи;
• связи позиции с узлом и оборудованием, где она применяется;
• каталога нужной редакции, если обозначение производителя менялось;
• причины создания записи, если заявка не сохранилась.

Как отличить дубль от другого исполнения

Это центральный вопрос нормализации справочника номенклатуры. Пример ниже учебный: он показывает логику проверки, а не данные конкретного заказчика.

В справочнике четыре записи:

По тексту их хочется свести к одной позиции. По источникам этого делать нельзя:

• 6205 — радиальный шариковый подшипник 25×52×15 мм; обозначение без суффикса обычно означает открытое исполнение;
• суффикс 2RS означает контактные уплотнения с двух сторон, 2Z — металлические защитные шайбы; это разные исполнения с разной применимостью;
• в записи 101502 есть размеры и слово «уплотнения», но нет типа уплотнения, поэтому её нельзя однозначно отнести ни к 2RS, ни к 2Z.

Кандидат: 100874 ↔ 101502
Основание: совпадение размеров 25×52×15 (каталог производителя, таблица размеров);
           «с уплотнениями» совместимо с 2RS
Статус: source:conflict — тип уплотнения в 101502 не указан
Confidence: medium
Проверка: маркировка на складе или заявка, по которой создана 101502

100231 — не объединять с 100874 и 102117: другое исполнение или неполное описание
102117 — самостоятельная позиция

Запись не объединяется, пока не подтверждено, что она описывает то же физическое исполнение. Решение об объединении и о судьбе остатков принимает заказчик.

Как проходит проверка: шесть стадий

1. Инвентаризация источников

Что происходит без подготовки. Справочник чистят только по выгрузке.
Что используется. Выгрузка ERP или EAM, каталоги, руководства, спецификации, стандарты.
Результат. Перечень источников и их покрытие по классам материалов.
Кто проверяет. Владелец справочника подтверждает состав источников.

2. Разбор обозначения на признаки

Что происходит без подготовки. Сравнивают строки текста целиком.
Что используется. Базовое обозначение, суффиксы исполнения, размеры, материал, производитель, номер производителя.
Результат. Признаки с источником; отсутствующие признаки помечены source:missing.

3. Приоритизация

Что происходит без подготовки. Идут по порядку кодов.
Что используется. Остатки, стоимость, критичность оборудования.
Результат. Очередь проверки: дорогие и критичные позиции первыми.
Кто проверяет. Служба ТОиР подтверждает критичность.

4. Выявление кандидатов

Что происходит без подготовки. Сводят похожие строки.
Что используется. Признаки из предыдущих стадий.
Результат. Реестр пар и групп: какой признак совпал, откуда он взят, статус и confidence.
Кто проверяет. Инженер заказчика, спорные случаи — склад по маркировке.

5. Таблица обозначений и Master ID

Что происходит без подготовки. Старые коды удаляют.
Что используется. Подтверждённые группы.
Результат. Каноническая запись; старые коды, бренды и номера поставщиков сохранены как ссылки.
Кто проверяет. Владелец справочника утверждает Master ID.

6. Правило на входе

Что происходит без подготовки. Новую позицию создают без поиска.
Что используется. Перечень обязательных признаков по классам.
Результат. Порядок поиска по всем обозначениям перед созданием карточки.
Кто проверяет. Владелец справочника утверждает правило.

Очистка по тексту и проверка по источникам

Что нельзя определить по документам

• что фактически лежит на полке: запись может говорить «4», а на складе 2 — это устанавливает только инвентаризация;
• какое исполнение установлено на конкретной машине, если после поставки были замены;
• эквивалентность детали другого производителя без прямой ссылки на замену в каталоге: такая пара получает статус source:analog и не объединяется без инженерного решения;
• причину создания записи, если заявка не сохранилась.

Кто принимает решение

• RD[AI] готовит реестр кандидатов, признаки, источники и таблицу обозначений;
• инженер заказчика подтверждает или отклоняет объединение;
• склад подтверждает спорные случаи по маркировке;
• владелец справочника утверждает Master ID и правила создания позиций;
• интегратор загружает результат в ERP, EAM или MDM.

Что делает RD[AI]

• собирает и сопоставляет каталоги, руководства, спецификации и выгрузку справочника;
• разбирает обозначения на признаки и приводит единицы к одному виду;
• выявляет кандидатов на дубли и указывает основание для каждой пары;
• сохраняет источник и статус каждого признака;
• фиксирует конфликты, не выбирая значение за заказчика;
• формирует таблицу альтернативных обозначений и структуру загрузки.

Что RD[AI] не делает

• не объединяет записи без подтверждения заказчика;
• не проводит инвентаризацию склада и не осматривает детали;
• не подтверждает взаимозаменяемость аналогов;
• не внедряет MDM, ERP или EAM.

Куда данные идут дальше

Проверенная запись с источником используется повторно: в паспорте на оборудование, в перечне ЗИП, в технологических картах ТОиР, в заявке на закупку и в загрузке в новую систему. Если меняется поставщик или номер производителя, к канонической записи добавляется новое обозначение, а не новая карточка.

Как устроены классы, атрибуты и допустимые сочетания, описано в статье Нормализация НСИ по ГОСТ и ТУ. Принципы статусов источника и confidence — на странице Метод.

Частые вопросы