Каталог собирается из прайсов разных поставщиков, ручных правок и импортов разных лет. Каждый источник пишет данные по-своему, и со временем одно и то же значение начинает существовать в десятках вариантов.
Что нормализуют
- Названия товаров — единый шаблон: тип, бренд, модель, ключевая характеристика.
- Бренды — «Samsung», «SAMSUNG», «Самсунг» приводятся к одному написанию.
- Значения характеристик — цвета, материалы, размеры.
- Единицы измерения — «1 л», «1000 мл» и «1,0» становятся одним значением.
- Категории — товары перекладываются из ошибочных и дублирующих разделов.
Что ломается без нормализации
| Где | Что происходит |
|---|---|
| Фильтры | Дубли значений, товары выпадают из выборки |
| Поиск | Товар не находится по привычному написанию |
| Сравнение | Нельзя сопоставить модели по характеристикам |
| Выгрузки | Маркетплейсы отклоняют карточки с неверными значениями |
Как провести нормализацию
- Соберите все варианты значений по каждой характеристике и посчитайте, сколько товаров у каждого.
- Выберите эталон для каждой группы вариантов.
- Создайте правила замены: «черн.», «Black» → «чёрный».
- Примените к каталогу и проверьте выборочно.
- Включите правила для новых загрузок, чтобы хаос не вернулся.
Ручная работа и нейросеть
Простые замены можно делать по словарю. Сложные случаи — извлечь характеристику из названия, понять, что «сталь нерж.» и «нержавеющая сталь» одно и то же, — быстрее решает нейросеть. Человек утверждает правила, а применяются они ко всему каталогу автоматически.
В UniSeek нормализация бесплатна: правила для названий, брендов и характеристик применяются к каталогу и к каждой новой загрузке прайса.