Download to read offline
Uploaded byEatDog
API в SAAS, с облаком и без: ресурсы, SLA, балансировка, расширяемость
Документ описывает облачную платформу для машинного обучения с акцентом на разработку и предсказания моделей. Рассматриваются аспекты балансировки нагрузки, расширяемости и конфигурации системы. Также упоминаются проблемы, связанные с производительностью и управлением ресурсами при использовании модели в реальном времени.
More Related Content
Similar to API в SAAS, с облаком и без: ресурсы, SLA, балансировка, расширяемость
API в SAAS, с облаком и без: ресурсы, SLA, балансировка, расширяемость
- 1. API в SAAS, соблаком и без ресурсы, SLA, балансировка, расширяемость и всякая чепуха
- 2. Обо мне • ЕгорНазаркин • So ware Engineer • Киев, Украина
- 3. Easy-to-use Machine Learningservice that helps people build models and predict on them.
- 4. внутри платформы intake transformbuild serve client
- 5.
- 6. примеры использования приложение навходе на выходе рекомендации товаров клик по позиции список “похожих” исследование и предсказание цены недвижимость, авиабилеты динамика и склонность (вероятность) изменения поиск мошенничества атрибуты транзакции принять/ отклонить транзакцию вовлеченность в игру игровая активность изменение сложности
- 7. типичное (wsgi) приложение WebAppclient reverse proxy
- 8.
- 9. round robin Web Appclient reverseproxy balancer
- 10.
- 11. Проблемы • предсказания делаютсяна обученых моделях • модель может занимать гигабайты памяти • обработка запроса длится от 20 до 600 миллисекунд • загрузка в память занимает в 10-30 раз больше времени
- 12. Каждому узлу пособственной модели 1 2 3 4 5 6node client reverse proxy balancer
- 13.
- 14.
- 15. Пропадание узла • умираетодин сервер — нужно перебалансировать всю систему 4 / 12 3 / 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12
- 16.
- 17.
- 18. С nginx 160 *weight h ps://www.nginx.com/resources/wiki/modules/consistent_hash/
- 19.
- 20. Почему не подходит? •пассивная проверка хоста • необходимость обновления конфигурации на всех узлах (вспомнить про consul) • нужен “прогрев” моделей в кеше узла • масштабирование?
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31. Mappers • Random • Hash •Hash Ring • Model weight
- 32.
- 33.
- 34. Model weight m1 m2 h1h2 h3 h4
- 35.
- 36.
- 37.
- 39. Итоги • Know yourinstrument! • Сопротивляйся • Минимизируй зоопарк решений • Старайся уменьшить объем работы • Конфигурация • Расширяемость • Тестирование
- 40. Ссылки • So YouWanna Go On-prem Do Ya — h p://bit.ly/1THE0CS • HAProxy zero-downtime, zero-delay reloads with multibinder — h p://bit.ly/2gp4dwC • Autoscaled Internal Load Balancing using HAProxy and Consul on Compute Engine — h ps://goo.gl/ZZPDCr • load balancing и оптимальная загрузка кластера — h ps:// goo.gl/kbDTP8 • Prediction API as a service on premise solution — h p://bit.ly/ 2hkzna1
- 41.