AutoMoto будує продуктивну мережу CDN-серверів на NVMe

13.06.2020 | Рішення

Виклик

Онлайн-Класифайди (дошки оголошень) обслуговують мільйони запитів в день. AutoMoto - автомобільний сайт-агрегатор, який кожен день парсит багато медійного контенту з інших автомайданчиків. Відповідно, для обробки потоків фото / відео з мінімальними затримками потрібні сервери з швидким відгуком підсистем зберігання.

Рішення

CDN-мережа з серверами на NVMe SSD.

Результат

  • прискорена обробка контенту
  • створений запас продуктивності для додаткових видів сервісу
  • позитивний досвід користувачів
  • економія капітальних і операційних витрат


Агрегатори торгових пропозицій (класифайди) сьогодні є потужним засобом онлайн-просування товарів і послуг. Сучасні «дошки оголошень» привабливі багатовимірними фільтрами і візуальної подачею - можна розглянути в деталях самі об'єкти пропозиції і порівняльну інфографіку по ним. Вінницька компанія ВІНСОФТ продакшн розвиває Класифайди в декількох вертикальних сегментах: автоторгівлі, продажу нерухомості, оренди житла. Майданчик AutoMoto - "місце зустрічі" десятків тисяч учасників первинного і вторинного ринків транспортних засобів. На сервери компанії приходить безліч запитів - від реальних користувачів і пошукових роботів пошукових машин, сканерів інформації.

Виручають мережі доставки контенту (CDN), які покликані наблизити контент до користувача. Чим ближче дані географічно, тим швидше обробляється користувальницький запит і відкривається доступ до контенту. Зекономлені мілісекунди важливі для якості обслуговування, особливо якщо мова йде про завантаження і вивантаження медійного контенту. Ще більш дорогоцінні вони для майданчика - як засіб ущільнення трафіку і спосіб підвищення ранжирування контенту пошуковими системами. Замість використання ресурсів світових операторів CDN, як Cloudflare або Akamai, ВІНСОФТ продакшн будує CDN на своїх серверах, тому що клієнти і постачальники знаходяться в Україні і специфіка контенту вимагає адекватних апаратних засобів.

 

Основний трафік AutoMoto - не вхiдний, як у 99% веб-сайтів, а вихідний. У день ресурс можуть відвідати 40К користувачів, але вихідних запитів на повторну обробку контенту буває набагато більше, сотні тисяч. Крім того, перед розробниками сайту стоїть важливе завдання - розпізнати дублікати оголошень у великому потоці фотографій і видалити їх.

 

За словами генерального директора AutoMoto Михайла Глушко, «IТ-команда поставила перед собою амбітні цілі - збільшення відвідуваності сайту та впровадження машинного навчання. Для їх досягнення потрібно обладнання, що дозволяє впоратися з обробкою ресурсоемкого контенту. Перехід на CDN-мережу на серверах з NVMe SSD виявився очевидним виходом з положення, адже нам необхідно проводити швидку і точну роботу з даними ».

У співпраці з компанією Entry народився концепт серверів, типовий платформи з запасом обчислювальної потужності і підсистемою зберігання на U.2 (2.5 "NVMe SSD). NVMe дали швидкий відгук і високі показники продуктивності, в IOPS і МБ / сек. Зі старими серверами багато часу і ресурсів йшло на аналіз великих обсягів даних від безлічі джерел інформації і на перевірку дублікатів контенту. Після переходу на нові сервера всі ці труднощі залишилися в минулому.

У цифрах порівняння показників "до" і "після" виглядає так:

 

Метрика

Було

Стало

Змiна

Завантаження сторінки «Виробник та модель авто»

200 мс

170 мс

+ 15% 

Оновлення торгових пропозицій в одиницю часу

70

100

+ 43% 

Average processor load (Load Average)

25 мс

10 мс

- 60% 

Максимальне завантаження CPU

99%

50%

- 50%

Максимальне використання RAM

95%

71%

- 25%

 

AutoMoto.ua використовує транзакційні бази даних. Продуктивність старих і нових серверів замерялась в тесті OLTP Sysbench на відрізку 60 секунд. Приріст склав 922% (48832 проти 4779 за інтегральним показником і 814 транзакцій в секунду проти 80). Прискорилася завантаження сторінок: перш вибірка по марці і моделі автомобіля забирала 200 мс, зараз - 170 мс. Швидкість парсинга (оновлень) торгових пропозицій зросла на 43%.

 

Пріоритетним завданням сервера кожного сайту є безперебійне надання сервісів користувачам. Зрозуміло, що це впливає на загальне враження користувачів від ресурсу, сприяє зростанню популярності та відбивається на фінансових показниках. Планка запитів підвищується, якщо мова заходить про машинному навчанні, тоді однозначно необхідні сервера, які зможуть претендувати на звання продуктивної мережевої машини. Впровадження рішення у вигляді мережі CDN-серверів на NVMe SSD в даному випадку є вдалим вибором.