В опенсорсе появилась технология для обработки данных в реальном времени
Яндекс выложил в открытый доступ технологию для непрерывной обработки больших потоков данных YTsaurus Flow, которая обрабатывает клики, лайки и другие события по мере их появления — обычно такие данные накапливают и обрабатывают с задержкой до нескольких часов.
🔹 Собственная разработка Яндекса стала отечественной альтернативой зарубежным решениям для потоковой обработки данных вроде Kafka и Spark. Теперь крупные российские компании могут самостоятельно развернуть Flow, использовать в проектах и дорабатывать под свои задачи.
🔹 В Маркете технология уже помогает быстрее собирать статистику для анализа спроса, в антифрод-системах — оперативно обнаруживать подозрительные действия, в Яндекс Рекламе — обрабатывать данные для подбора предложений.
🔹 Масштаб обработки — более 100 ГБ данных в секунду и миллионы событий. Flow работает с кликами, показами, лайками, заказами и другими событиями в реальном времени.
🔹 Технология сокращает задержку при подготовке данных для рекомендательных моделей в Рекламе: раньше на это уходило больше 10 часов, теперь около двух.
🔹 Экономический эффект — меньше затрат на инфраструктуру и быстрее обновление моделей. За счет обработки данных в реальном времени можно оперативнее реагировать на изменения спроса и интересов пользователей, не тратя ресурсы на лишнюю обработку и повторную запись данных.
Подписывайтесь на СофтТех
Яндекс выложил в открытый доступ технологию для непрерывной обработки больших потоков данных YTsaurus Flow, которая обрабатывает клики, лайки и другие события по мере их появления — обычно такие данные накапливают и обрабатывают с задержкой до нескольких часов.
🔹 Собственная разработка Яндекса стала отечественной альтернативой зарубежным решениям для потоковой обработки данных вроде Kafka и Spark. Теперь крупные российские компании могут самостоятельно развернуть Flow, использовать в проектах и дорабатывать под свои задачи.
🔹 В Маркете технология уже помогает быстрее собирать статистику для анализа спроса, в антифрод-системах — оперативно обнаруживать подозрительные действия, в Яндекс Рекламе — обрабатывать данные для подбора предложений.
🔹 Масштаб обработки — более 100 ГБ данных в секунду и миллионы событий. Flow работает с кликами, показами, лайками, заказами и другими событиями в реальном времени.
🔹 Технология сокращает задержку при подготовке данных для рекомендательных моделей в Рекламе: раньше на это уходило больше 10 часов, теперь около двух.
🔹 Экономический эффект — меньше затрат на инфраструктуру и быстрее обновление моделей. За счет обработки данных в реальном времени можно оперативнее реагировать на изменения спроса и интересов пользователей, не тратя ресурсы на лишнюю обработку и повторную запись данных.
Подписывайтесь на СофтТех