#доклад_яндекса — Public Fediverse posts

Как эволюционировала платформа управления данными в Яндекс Go. Доклад Яндекса

С 2017 года мы строим и постоянно адаптируем к меняющимся требованиям и внешним факторам платформу управления данными. Для нас это инфраструктура, которая живёт и переиспользуется внутри разных сервисов, которые входят в Яндекс Go: Такси, Еда, Лавка и Доставка. Сначала мы обсудим скоуп того, что мы считаем платформой и чем занимаемся. Дальше расскажу про архитектуру YTsaurus (YT) предназначенную для обработки и хранения данных, и как она развивалась на стороне Яндекс Go. Про YT я буду рассказывать с точки зрения того, какие возможности он дает разработчикам хранилища и платформы, аналитикам и другим пользователям, которые активно работают с данными.

https://habr.com/ru/companies/yandex/articles/822321/

#bigdata #ytsaurus #greenplum #clickhouse #dwh #яндекс #доклад_яндекса

Как эволюционировала платформа управления данными в Яндекс Go. Доклад Яндекса

С 2017 года мы строим и постоянно адаптируем к меняющимся требованиям и внешним факторам платформу управления данными. Для нас это инфраструктура, которая живёт и переиспользуется внутри разных сервисов, которые входят в Яндекс Go: Такси, Еда, Лавка и Доставка. Сначала мы обсудим скоуп того, что мы считаем платформой и чем занимаемся. Дальше расскажу про архитектуру YTsaurus (YT) предназначенную для обработки и хранения данных, и как она развивалась на стороне Яндекс Go. Про YT я буду рассказывать с точки зрения того, какие возможности он дает разработчикам хранилища и платформы, аналитикам и другим пользователям, которые активно работают с данными.

https://habr.com/ru/companies/yandex/articles/822321/

#bigdata #ytsaurus #greenplum #clickhouse #dwh #яндекс #доклад_яндекса

Как эволюционировала платформа управления данными в Яндекс Go. Доклад Яндекса

С 2017 года мы строим и постоянно адаптируем к меняющимся требованиям и внешним факторам платформу управления данными. Для нас это инфраструктура, которая живёт и переиспользуется внутри разных сервисов, которые входят в Яндекс Go: Такси, Еда, Лавка и Доставка. Сначала мы обсудим скоуп того, что мы считаем платформой и чем занимаемся. Дальше расскажу про архитектуру YTsaurus (YT) предназначенную для обработки и хранения данных, и как она развивалась на стороне Яндекс Go. Про YT я буду рассказывать с точки зрения того, какие возможности он дает разработчикам хранилища и платформы, аналитикам и другим пользователям, которые активно работают с данными.

https://habr.com/ru/companies/yandex/articles/822321/

#bigdata #ytsaurus #greenplum #clickhouse #dwh #яндекс #доклад_яндекса

Как устроен рекомендательный сервис, который выдерживает 700 тысяч запросов в секунду. Доклад Яндекса

«Баннерная крутилка» — один из самых высоконагруженных сервисов в Яндексе. Он умеет переживать 700 тысяч RPS, а иногда и больше. Каждый раз, когда приходит запрос, крутилка должна просмотреть базу из миллиарда документов и выбрать из них самые релевантные для пользователя. При этом выдерживаются весьма жесткие временные рамки: 99% всех запросов обрабатываются менее чем за 200 миллисекунд. Какими принципами стоит руководствоваться при построении подобных высоконагруженных систем? Как устроены стадии отбора документов? Какое участие в ранжировании принимает ML? Обо всём этом на недавнем мероприятии для разработчиков в Ереване рассказал Артём Ваншулин, руководитель разработки ранжирования в команде баннерной системы. Сегодня мы делимся с сообществом текстовой версией его доклада. Передаём ему слово.

https://habr.com/ru/companies/yandex/articles/816205/

#доклад_яндекса #высокая_нагрузка #высоконагруженные_сервисы #машинное_обучение #рекомендательные_системы #разработка_сервисов #проектирование

Как мы тестируем беспилотные автомобили с помощью симуляций

Всем привет! Это Александр Чистяков из команды беспилотных автомобилей Яндекса. Мой доклад посвящён симуляторам: что это, зачем, как это устроено изнутри и какие в симуляции есть подводные камни, неожиданные парадоксы. Также расскажу, с помощью каких алгоритмических или архитектурных решений мы со всеми этими парадоксами боремся.

https://habr.com/ru/companies/yandex/articles/808213/

#беспилотный_автомобиль #симуляция #машинное_обучение #тестирование #яндекс #highload #доклад_яндекса