Оптимизировали конвейер обработки прайсов — большие каталоги загружаются в два раза быстрее.
С ростом числа клиентов увеличились и объёмы каталогов. Для магазинов с десятками тысяч товаров загрузка прайса занимала заметное время, а при ежедневном обновлении это становилось неудобным: свежие цены и остатки попадали в поиск с задержкой.
Мы разобрали весь путь, который проходит прайс-лист: чтение файла, разбор строк, проверка данных, подготовка товаров и запись в поисковый индекс. На каждом этапе нашлись возможности ускорения. Самый большой выигрыш дала пакетная запись товаров в индекс вместо обработки по одному.
В результате большие каталоги теперь загружаются примерно в два раза быстрее. Для небольших магазинов разница тоже заметна, хотя и не так ярко.
Ускорение работает автоматически для всех клиентов, ничего настраивать не нужно. Мы продолжим оптимизировать загрузку, чтобы даже очень крупные каталоги попадали в поиск как можно быстрее.