Основной задачей было улучшить существующий прототип фреймворка. В конечном счете прототип был полностью переписан. Для усовершенствования сбора информации с SPA (одностраничные приложения) магазинов был добавлен Selenium.
Специалисты IntexSoft добавили API для мгновенного обновления информации о продукте и вывода статусной информации о поисковых роботах/скраперах.
Нам удалось получить максимум от фреймворка за счет масштабирования по процессам и использования прокси.
Важно было внедрить сохранение всей собранной информации в Azure Blob Storage, что удалось успешно реализовать. Кроме того, специалисты IntexSoft добавили телеметрию в Azure App Insights.
В процессе работы над проектом были обновлены и добавлены 38 поисковых роботов и программ, которые ищут всю информацию из интернет-магазинов.
Работа велась по итеративной методологии. Команда проводила ежедневные онлайн-встречи, где специалисты IntexSoft демонстрировали отчеты по выполненным задачам и решали организационные вопросы.
