#vk_cloud — Public Fediverse posts

[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов

С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префилла и декодирования принципиально разные профили вычислений, но традиционные развёртывания заставляют их работать на одном оборудовании. В итоге GPU недозагружены, а масштабирование — негибкое. Дезагрегированный инференс решает эту проблему: разбивает конвейер на отдельные этапы — префилл, декодирование и маршрутизацию. Каждый этап работает как независимый сервис, который можно обеспечивать ресурсами и масштабировать на собственных условиях. Команда VK Cloud перевела статью, в которой разбирается, как развернуть дезагрегированный инференс в Kubernetes. Здесь мы посмотрим на разные решения экосистемы, как они работают в кластере и что дают «из коробки».

https://habr.com/ru/companies/vktech/articles/1040076/

#vk_cloud #llm #kubernetes #inference #gpu #nvidia #дезагрегированный_инференс #оркестрация #автомасштабирование #планирование_подов

[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов

С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префилла и декодирования принципиально разные профили вычислений, но традиционные развёртывания заставляют их работать на одном оборудовании. В итоге GPU недозагружены, а масштабирование — негибкое. Дезагрегированный инференс решает эту проблему: разбивает конвейер на отдельные этапы — префилл, декодирование и маршрутизацию. Каждый этап работает как независимый сервис, который можно обеспечивать ресурсами и масштабировать на собственных условиях. Команда VK Cloud перевела статью, в которой разбирается, как развернуть дезагрегированный инференс в Kubernetes. Здесь мы посмотрим на разные решения экосистемы, как они работают в кластере и что дают «из коробки».

https://habr.com/ru/companies/vktech/articles/1040076/

#vk_cloud #llm #kubernetes #inference #gpu #nvidia #дезагрегированный_инференс #оркестрация #автомасштабирование #планирование_подов

[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов

С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префилла и декодирования принципиально разные профили вычислений, но традиционные развёртывания заставляют их работать на одном оборудовании. В итоге GPU недозагружены, а масштабирование — негибкое. Дезагрегированный инференс решает эту проблему: разбивает конвейер на отдельные этапы — префилл, декодирование и маршрутизацию. Каждый этап работает как независимый сервис, который можно обеспечивать ресурсами и масштабировать на собственных условиях. Команда VK Cloud перевела статью, в которой разбирается, как развернуть дезагрегированный инференс в Kubernetes. Здесь мы посмотрим на разные решения экосистемы, как они работают в кластере и что дают «из коробки».

https://habr.com/ru/companies/vktech/articles/1040076/

#vk_cloud #llm #kubernetes #inference #gpu #nvidia #дезагрегированный_инференс #оркестрация #автомасштабирование #планирование_подов

[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов

С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префилла и декодирования принципиально разные профили вычислений, но традиционные развёртывания заставляют их работать на одном оборудовании. В итоге GPU недозагружены, а масштабирование — негибкое. Дезагрегированный инференс решает эту проблему: разбивает конвейер на отдельные этапы — префилл, декодирование и маршрутизацию. Каждый этап работает как независимый сервис, который можно обеспечивать ресурсами и масштабировать на собственных условиях. Команда VK Cloud перевела статью, в которой разбирается, как развернуть дезагрегированный инференс в Kubernetes. Здесь мы посмотрим на разные решения экосистемы, как они работают в кластере и что дают «из коробки».

https://habr.com/ru/companies/vktech/articles/1040076/

#vk_cloud #llm #kubernetes #inference #gpu #nvidia #дезагрегированный_инференс #оркестрация #автомасштабирование #планирование_подов

Повесть о конфигурации как инженерной гигиене

Привет, Хабр! Меня зовут Юрий Соловьёв, я ведущий инженер в команде экосистемы Tarantool . С опытом я пришел к тому, что конфигурация должна иметь строгую спецификацию, так же как и HTTP API. В этой статье я предлагаю альтернативный подход на базе protobuf и постараюсь показать, что это не избыточная сложность, а необходимый уровень инженерной гигиены — особенно для систем, рассчитанных на долгую и стабильную жизнь. Это в какой-то мере технорассказ, которым я хочу поделиться — и именно в такой форме.

https://habr.com/ru/companies/vktech/articles/1036490/

#vk_cloud #конфигурация #protobuf #configuration_management #infrastructure_as_code #best_practices #yaml #microservices #tarantool #валидация

Повесть о конфигурации как инженерной гигиене

Привет, Хабр! Меня зовут Юрий Соловьёв, я ведущий инженер в команде экосистемы Tarantool . С опытом я пришел к тому, что конфигурация должна иметь строгую спецификацию, так же как и HTTP API. В этой статье я предлагаю альтернативный подход на базе protobuf и постараюсь показать, что это не избыточная сложность, а необходимый уровень инженерной гигиены — особенно для систем, рассчитанных на долгую и стабильную жизнь. Это в какой-то мере технорассказ, которым я хочу поделиться — и именно в такой форме.

https://habr.com/ru/companies/vktech/articles/1036490/

#vk_cloud #конфигурация #protobuf #configuration_management #infrastructure_as_code #best_practices #yaml #microservices #tarantool #валидация

Повесть о конфигурации как инженерной гигиене

Привет, Хабр! Меня зовут Юрий Соловьёв, я ведущий инженер в команде экосистемы Tarantool . С опытом я пришел к тому, что конфигурация должна иметь строгую спецификацию, так же как и HTTP API. В этой статье я предлагаю альтернативный подход на базе protobuf и постараюсь показать, что это не избыточная сложность, а необходимый уровень инженерной гигиены — особенно для систем, рассчитанных на долгую и стабильную жизнь. Это в какой-то мере технорассказ, которым я хочу поделиться — и именно в такой форме.

https://habr.com/ru/companies/vktech/articles/1036490/

#vk_cloud #конфигурация #protobuf #configuration_management #infrastructure_as_code #best_practices #yaml #microservices #tarantool #валидация

Повесть о конфигурации как инженерной гигиене

Привет, Хабр! Меня зовут Юрий Соловьёв, я ведущий инженер в команде экосистемы Tarantool . С опытом я пришел к тому, что конфигурация должна иметь строгую спецификацию, так же как и HTTP API. В этой статье я предлагаю альтернативный подход на базе protobuf и постараюсь показать, что это не избыточная сложность, а необходимый уровень инженерной гигиены — особенно для систем, рассчитанных на долгую и стабильную жизнь. Это в какой-то мере технорассказ, которым я хочу поделиться — и именно в такой форме.

https://habr.com/ru/companies/vktech/articles/1036490/

#vk_cloud #конфигурация #protobuf #configuration_management #infrastructure_as_code #best_practices #yaml #microservices #tarantool #валидация

Как цифровой клон покупателя помогает ретейлу делать умные офферы

Привет, Хабр! Меня зовут Катя, я продакт-менеджер в Lenta Tech («Группа Лента»). Сегодня хочу рассказать о том, как цифровой клон покупателя помогает сделать персональные офферы с конверсией в лиды. В статье расскажу о новом витке развития персонализации с использованием больших языковых моделей, а именно — как можно построить «цифровой клон» клиента на основе его чеков и поведенческих данных и использовать его для создания узконаправленных офферов. Разберем архитектуру решения, проблемы, с которыми мы столкнулись, и результаты, которые принесли рост продаж и охватов среди нашей аудитории.

https://habr.com/ru/companies/lentatech/articles/1024110/

#Клон #DS #crmсистемы #коммуникации #lentatech #vk_cloud #персонализация_контента

Как цифровой клон покупателя помогает ретейлу делать умные офферы

Привет, Хабр! Меня зовут Катя, я продакт-менеджер в Lenta Tech («Группа Лента»). Сегодня хочу рассказать о том, как цифровой клон покупателя помогает сделать персональные офферы с конверсией в лиды. В статье расскажу о новом витке развития персонализации с использованием больших языковых моделей, а именно — как можно построить «цифровой клон» клиента на основе его чеков и поведенческих данных и использовать его для создания узконаправленных офферов. Разберем архитектуру решения, проблемы, с которыми мы столкнулись, и результаты, которые принесли рост продаж и охватов среди нашей аудитории.

https://habr.com/ru/companies/lentatech/articles/1024110/

#Клон #DS #crmсистемы #коммуникации #lentatech #vk_cloud #персонализация_контента

Как цифровой клон покупателя помогает ретейлу делать умные офферы

Привет, Хабр! Меня зовут Катя, я продакт-менеджер в Lenta Tech («Группа Лента»). Сегодня хочу рассказать о том, как цифровой клон покупателя помогает сделать персональные офферы с конверсией в лиды. В статье расскажу о новом витке развития персонализации с использованием больших языковых моделей, а именно — как можно построить «цифровой клон» клиента на основе его чеков и поведенческих данных и использовать его для создания узконаправленных офферов. Разберем архитектуру решения, проблемы, с которыми мы столкнулись, и результаты, которые принесли рост продаж и охватов среди нашей аудитории.

https://habr.com/ru/companies/lentatech/articles/1024110/

#Клон #DS #crmсистемы #коммуникации #lentatech #vk_cloud #персонализация_контента

Как цифровой клон покупателя помогает ретейлу делать умные офферы

Привет, Хабр! Меня зовут Катя, я продакт-менеджер в Lenta Tech («Группа Лента»). Сегодня хочу рассказать о том, как цифровой клон покупателя помогает сделать персональные офферы с конверсией в лиды. В статье расскажу о новом витке развития персонализации с использованием больших языковых моделей, а именно — как можно построить «цифровой клон» клиента на основе его чеков и поведенческих данных и использовать его для создания узконаправленных офферов. Разберем архитектуру решения, проблемы, с которыми мы столкнулись, и результаты, которые принесли рост продаж и охватов среди нашей аудитории.

https://habr.com/ru/companies/lentatech/articles/1024110/

#Клон #DS #crmсистемы #коммуникации #lentatech #vk_cloud #персонализация_контента

От формального качества к реальной пользе: как избежать потери доверия к данным и снижения их бизнес-ценности

Внедрение современных инструментов Data Governance (управления данными) часто воспринимается как финальная точка в построении культуры работы с данными. Компании инвестируют в Data Quality-проверки (качества данных), создают каталоги данных и выстраивают красивые дашборды, которые сигнализируют о полном порядке. Однако на практике бизнес часто обнаруживает, что за фасадом «зеленых галочек» скрывается хаос: отчеты не сходятся, ключевые метрики вызывают вопросы, а доверие к аналитике падает. Этот разрыв между формальным качеством данных и их реальной ценностью для бизнеса приводит к финансовым потерям и неверным управленческим решениям. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform . В этой статье я покажу типовой путь компании и расскажу, как сделать работу с данными не самоцелью для ИТ, а инструментом, который полезен для бизнеса.

https://habr.com/ru/companies/vktech/articles/1024060/

#vk_cloud #Data_Governance #управление_данными #vk_tech

От формального качества к реальной пользе: как избежать потери доверия к данным и снижения их бизнес-ценности

Внедрение современных инструментов Data Governance (управления данными) часто воспринимается как финальная точка в построении культуры работы с данными. Компании инвестируют в Data Quality-проверки (качества данных), создают каталоги данных и выстраивают красивые дашборды, которые сигнализируют о полном порядке. Однако на практике бизнес часто обнаруживает, что за фасадом «зеленых галочек» скрывается хаос: отчеты не сходятся, ключевые метрики вызывают вопросы, а доверие к аналитике падает. Этот разрыв между формальным качеством данных и их реальной ценностью для бизнеса приводит к финансовым потерям и неверным управленческим решениям. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform . В этой статье я покажу типовой путь компании и расскажу, как сделать работу с данными не самоцелью для ИТ, а инструментом, который полезен для бизнеса.

https://habr.com/ru/companies/vktech/articles/1024060/

#vk_cloud #Data_Governance #управление_данными #vk_tech

От формального качества к реальной пользе: как избежать потери доверия к данным и снижения их бизнес-ценности

Внедрение современных инструментов Data Governance (управления данными) часто воспринимается как финальная точка в построении культуры работы с данными. Компании инвестируют в Data Quality-проверки (качества данных), создают каталоги данных и выстраивают красивые дашборды, которые сигнализируют о полном порядке. Однако на практике бизнес часто обнаруживает, что за фасадом «зеленых галочек» скрывается хаос: отчеты не сходятся, ключевые метрики вызывают вопросы, а доверие к аналитике падает. Этот разрыв между формальным качеством данных и их реальной ценностью для бизнеса приводит к финансовым потерям и неверным управленческим решениям. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform . В этой статье я покажу типовой путь компании и расскажу, как сделать работу с данными не самоцелью для ИТ, а инструментом, который полезен для бизнеса.

https://habr.com/ru/companies/vktech/articles/1024060/

#vk_cloud #Data_Governance #управление_данными #vk_tech

От формального качества к реальной пользе: как избежать потери доверия к данным и снижения их бизнес-ценности

Внедрение современных инструментов Data Governance (управления данными) часто воспринимается как финальная точка в построении культуры работы с данными. Компании инвестируют в Data Quality-проверки (качества данных), создают каталоги данных и выстраивают красивые дашборды, которые сигнализируют о полном порядке. Однако на практике бизнес часто обнаруживает, что за фасадом «зеленых галочек» скрывается хаос: отчеты не сходятся, ключевые метрики вызывают вопросы, а доверие к аналитике падает. Этот разрыв между формальным качеством данных и их реальной ценностью для бизнеса приводит к финансовым потерям и неверным управленческим решениям. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform . В этой статье я покажу типовой путь компании и расскажу, как сделать работу с данными не самоцелью для ИТ, а инструментом, который полезен для бизнеса.

https://habr.com/ru/companies/vktech/articles/1024060/

#vk_cloud #Data_Governance #управление_данными #vk_tech

Как дизайн‑токены ускорили дизайн‑код в VK Tech

В нашу жизнь уже достаточно давно ворвался тренд на дизайн-системы. Пройдя через все стадии принятия, почти все, наверное, уже поняли, что нет того самого идеально-единого-гибкого решения, которое устранит все проблемы, ускорит процесс разработки и исключит изобретение велосипеда (если у кого-то получилось идеально, дайте знать). Меня зовут Катя Бурлакина, я старший продуктовый дизайнер в VK Tech и занимаюсь развитием дизайн-системы. В этой статье я не буду рассказывать про весь наш путь, а расскажу про его часть — систему дизайн-токенов. Спойлер: при помощи нее у нас получилось устранить некоторые проблемы, ускорить процесс разработки и даже исключить изобретение велосипеда.

https://habr.com/ru/companies/vktech/articles/1020010/

#vk_cloud #дизайнтокены #дизайнсистемы #ui #интерфейсы #vk_tech

От события до дашборда в облаках: практика по созданию потоковой платформы на Kubernetes

С задачей построения платформы для потоковой обработки данных по тем или иным причинам сталкиваются многие компании. И довольно часто подобная разработка превращается в попытку «создать ракету», не понимая сути происходящего под капотом. При этом для решения подобной задачи достаточно иметь набор инструментов и знать принципы их настройки на каждом из этапов. Меня зовут Сергей Емельянов. Я руководитель Core-команды VK Tech. В этой статье я пошагово покажу процесс построения синтетической платформы для обработки потоковых данных на Kubernetes.

https://habr.com/ru/companies/vktech/articles/1010746/

#vk_cloud #дашборды #аналитика #k8s #vk_tech

Околоенотная грамота, или Как я создавал генератор паролей

Всем привет, я Олег Оболенский, технический директор одного из подразделений VK Tech . Время от времени я задаю себе вопрос: «А вот, находясь на месте ребят-программистов из моей команды, смог бы я так же, как они, или нет? Как сейчас, спустя 25 лет после того, как я вошел в профессию, выглядит программирование?» Для честного ответа себе я время от времени делаю небольшие пет-проекты, и это позволяет мне оставаться в контексте. В этой статье я опишу, как появилась идея сделать еще один генератор паролей, как я его реализовал и с какими обстоятельствами мне пришлось столкнуться в процессе. Даже такая простая задача не решается в лоб за пару дней или недель. Программирование, как писали классики нашей дисциплины, все еще требует ума, вкуса и терпения.

https://habr.com/ru/companies/vktech/articles/1006810/

#vk_cloud #генератор_паролей #OpenNLP #информационная_безопасность #пароли #vk_tech

Data Mesh vs централизованная модель: выбираем оптимальный подход к управлению данными

Привет, Хабр. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform, VK Tech. Традиционно крупные компании использовали централизованную модель управления данными с единой командой Data-инженеров. Однако по мере роста объемов данных и повышения требований к скорости обработки возникает соблазн перейти на новую модель — Data Mesh , которая предлагает делегирование управления данными бизнес-доменам. Вместе с тем это не всегда оправданно, а иногда и рискованно, поскольку классическая централизованная модель и Data Mesh имеют свои особенности и ориентированы на разные сценарии применения. В этой статье я попробую разобрать, чем отличается Data Mesh от централизованной модели управления данными, каковы ее преимущества и риски, и главное – когда такой подход действительно нужен.

https://habr.com/ru/companies/vktech/articles/1005846/

#vk_cloud #data_mesh #децентрализованное_хранение_данных #централизованное_хранение_данных #vk_tech #vk_data_platform

Data Mesh vs централизованная модель: выбираем оптимальный подход к управлению данными

Привет, Хабр. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform, VK Tech. Традиционно крупные компании использовали централизованную модель управления данными с единой командой Data-инженеров. Однако по мере роста объемов данных и повышения требований к скорости обработки возникает соблазн перейти на новую модель — Data Mesh , которая предлагает делегирование управления данными бизнес-доменам. Вместе с тем это не всегда оправданно, а иногда и рискованно, поскольку классическая централизованная модель и Data Mesh имеют свои особенности и ориентированы на разные сценарии применения. В этой статье я попробую разобрать, чем отличается Data Mesh от централизованной модели управления данными, каковы ее преимущества и риски, и главное – когда такой подход действительно нужен.

https://habr.com/ru/companies/vktech/articles/1005846/

#vk_cloud #data_mesh #децентрализованное_хранение_данных #централизованное_хранение_данных #vk_tech #vk_data_platform

Data Mesh vs централизованная модель: выбираем оптимальный подход к управлению данными

Привет, Хабр. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform, VK Tech. Традиционно крупные компании использовали централизованную модель управления данными с единой командой Data-инженеров. Однако по мере роста объемов данных и повышения требований к скорости обработки возникает соблазн перейти на новую модель — Data Mesh , которая предлагает делегирование управления данными бизнес-доменам. Вместе с тем это не всегда оправданно, а иногда и рискованно, поскольку классическая централизованная модель и Data Mesh имеют свои особенности и ориентированы на разные сценарии применения. В этой статье я попробую разобрать, чем отличается Data Mesh от централизованной модели управления данными, каковы ее преимущества и риски, и главное – когда такой подход действительно нужен.

https://habr.com/ru/companies/vktech/articles/1005846/

#vk_cloud #data_mesh #децентрализованное_хранение_данных #централизованное_хранение_данных #vk_tech #vk_data_platform

Data Mesh vs централизованная модель: выбираем оптимальный подход к управлению данными

Привет, Хабр. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform, VK Tech. Традиционно крупные компании использовали централизованную модель управления данными с единой командой Data-инженеров. Однако по мере роста объемов данных и повышения требований к скорости обработки возникает соблазн перейти на новую модель — Data Mesh , которая предлагает делегирование управления данными бизнес-доменам. Вместе с тем это не всегда оправданно, а иногда и рискованно, поскольку классическая централизованная модель и Data Mesh имеют свои особенности и ориентированы на разные сценарии применения. В этой статье я попробую разобрать, чем отличается Data Mesh от централизованной модели управления данными, каковы ее преимущества и риски, и главное – когда такой подход действительно нужен.

https://habr.com/ru/companies/vktech/articles/1005846/

#vk_cloud #data_mesh #децентрализованное_хранение_данных #централизованное_хранение_данных #vk_tech #vk_data_platform

EVPN-connector от VK Cloud: знакомим с первым Open-Source-компонентом нашего SDN Sprut

В современных облаках есть много задач, связанных с проблемами производительности и масштабируемости виртуальных сетей. Кроме этого, есть ряд задач, требующих интеграции с аппаратными сетевыми устройствами. Чтобы преодолеть этот барьер, в собственном SDN (Software Defined Network, программно-определяемая сеть) мы реализовали поддержку технологии EVPN. За это отвечает специальный компонент — EVPN-connector. Он использует OpenVSwitch для передачи данных и GoBGP для передачи информации и позволяет строить распределенные сети с поддержкой L2- и L3-режимов, а также обеспечивает интеграцию с аппаратными устройствами. В этой статье мы, команда IaaS Network в VK Cloud, расскажем о EVPN-connector в деталях.

https://habr.com/ru/companies/vktech/articles/1000332/

#vk_cloud #EVPN #SDN #Sprut #vk_tech #облачные_сервисы #облачные_технологии

EVPN-connector от VK Cloud: знакомим с первым Open-Source-компонентом нашего SDN Sprut

В современных облаках есть много задач, связанных с проблемами производительности и масштабируемости виртуальных сетей. Кроме этого, есть ряд задач, требующих интеграции с аппаратными сетевыми устройствами. Чтобы преодолеть этот барьер, в собственном SDN (Software Defined Network, программно-определяемая сеть) мы реализовали поддержку технологии EVPN. За это отвечает специальный компонент — EVPN-connector. Он использует OpenVSwitch для передачи данных и GoBGP для передачи информации и позволяет строить распределенные сети с поддержкой L2- и L3-режимов, а также обеспечивает интеграцию с аппаратными устройствами. В этой статье мы, команда IaaS Network в VK Cloud, расскажем о EVPN-connector в деталях.

https://habr.com/ru/companies/vktech/articles/1000332/

#vk_cloud #EVPN #SDN #Sprut #vk_tech #облачные_сервисы #облачные_технологии

EVPN-connector от VK Cloud: знакомим с первым Open-Source-компонентом нашего SDN Sprut

В современных облаках есть много задач, связанных с проблемами производительности и масштабируемости виртуальных сетей. Кроме этого, есть ряд задач, требующих интеграции с аппаратными сетевыми устройствами. Чтобы преодолеть этот барьер, в собственном SDN (Software Defined Network, программно-определяемая сеть) мы реализовали поддержку технологии EVPN. За это отвечает специальный компонент — EVPN-connector. Он использует OpenVSwitch для передачи данных и GoBGP для передачи информации и позволяет строить распределенные сети с поддержкой L2- и L3-режимов, а также обеспечивает интеграцию с аппаратными устройствами. В этой статье мы, команда IaaS Network в VK Cloud, расскажем о EVPN-connector в деталях.

https://habr.com/ru/companies/vktech/articles/1000332/

#vk_cloud #EVPN #SDN #Sprut #vk_tech #облачные_сервисы #облачные_технологии

EVPN-connector от VK Cloud: знакомим с первым Open-Source-компонентом нашего SDN Sprut

В современных облаках есть много задач, связанных с проблемами производительности и масштабируемости виртуальных сетей. Кроме этого, есть ряд задач, требующих интеграции с аппаратными сетевыми устройствами. Чтобы преодолеть этот барьер, в собственном SDN (Software Defined Network, программно-определяемая сеть) мы реализовали поддержку технологии EVPN. За это отвечает специальный компонент — EVPN-connector. Он использует OpenVSwitch для передачи данных и GoBGP для передачи информации и позволяет строить распределенные сети с поддержкой L2- и L3-режимов, а также обеспечивает интеграцию с аппаратными устройствами. В этой статье мы, команда IaaS Network в VK Cloud, расскажем о EVPN-connector в деталях.

https://habr.com/ru/companies/vktech/articles/1000332/

#vk_cloud #EVPN #SDN #Sprut #vk_tech #облачные_сервисы #облачные_технологии

Миграция с VMware в 2026. Архитектурное сравнение альтернатив

По оценкам iKS-Consulting, в 2018 году платформу VMware использовали 78,8% компаний , которые применяют виртуализацию. Весной 2025 года в аналогичном исследовании указано, что доля отечественных решений в ПО виртуализации достигла 60,2%, а доля VMware оценивается в ~39% (оценка по данным анализа 19 крупнейших российских облачных провайдеров). То есть VMware-решения все еще заметны, но уже не доминируют так, как несколькими годами ранее За несколько лет VMware в России прошла путь от «платформы по умолчанию» среди тех, кто виртуализирует, до одной из заметных, но уже не ведущих опций. Рынок быстро перераспределяется в пользу отечественных платформ — ради доступности поддержки и обновлений, управляемости процессов и соответствия требованиям в российских контурах. В этой статье разберемся, как выбрать платформу виртуализации. Для этого вспомним краткую историю VMware и сравним подходы и классы платформ (On-Prem и у провайдера) с точки зрения эксплуатации, безопасности и миграции. В конце вас ждет чек-лист требований (включая ИБ/комплаенс) и таблица выбора по сценариям, чтобы быстро отсеять неподходящие варианты и собрать план перехода без сюрпризов на согласованиях с ИБ.

https://habr.com/ru/companies/vktech/articles/991808/

#vk_cloud #виртуализация_VMware #vk_tech #wmware

Роль хранилищ и платформ данных в развитии ИИ

Сегодня бизнес активно использует машинное обучение (Machine Learning, ML) для решения самых разных задач — от прогнозирования продаж до автоматизации процессов. Однако искусственный интеллект — это не какое-то волшебство, а математика, методы и алгоритмы, которые не будут работать без качественных и подходящих именно им данных. Чем больше качественных данных доступно для анализа, тем более сложные и точные модели можно построить. Меня зовут Анна Фенюшина, я ведущий архитектор направления «Дата-сервисы» в VK Tech. В этой статье я разберу, какие поколения ML существуют, какие данные нужны для их реализации и как современные хранилища могут помочь в развитии ИИ.

https://habr.com/ru/companies/vktech/articles/989456/

#vk_cloud #ИИ #ML #Data_Platform #vk_tech #vk_data_platform #object_storage #s3

Роль хранилищ и платформ данных в развитии ИИ

Сегодня бизнес активно использует машинное обучение (Machine Learning, ML) для решения самых разных задач — от прогнозирования продаж до автоматизации процессов. Однако искусственный интеллект — это не какое-то волшебство, а математика, методы и алгоритмы, которые не будут работать без качественных и подходящих именно им данных. Чем больше качественных данных доступно для анализа, тем более сложные и точные модели можно построить. Меня зовут Анна Фенюшина, я ведущий архитектор направления «Дата-сервисы» в VK Tech. В этой статье я разберу, какие поколения ML существуют, какие данные нужны для их реализации и как современные хранилища могут помочь в развитии ИИ.

https://habr.com/ru/companies/vktech/articles/989456/

#vk_cloud #ИИ #ML #Data_Platform #vk_tech #vk_data_platform #object_storage #s3

Роль хранилищ и платформ данных в развитии ИИ

Сегодня бизнес активно использует машинное обучение (Machine Learning, ML) для решения самых разных задач — от прогнозирования продаж до автоматизации процессов. Однако искусственный интеллект — это не какое-то волшебство, а математика, методы и алгоритмы, которые не будут работать без качественных и подходящих именно им данных. Чем больше качественных данных доступно для анализа, тем более сложные и точные модели можно построить. Меня зовут Анна Фенюшина, я ведущий архитектор направления «Дата-сервисы» в VK Tech. В этой статье я разберу, какие поколения ML существуют, какие данные нужны для их реализации и как современные хранилища могут помочь в развитии ИИ.

https://habr.com/ru/companies/vktech/articles/989456/

#vk_cloud #ИИ #ML #Data_Platform #vk_tech #vk_data_platform #object_storage #s3

Роль хранилищ и платформ данных в развитии ИИ

Сегодня бизнес активно использует машинное обучение (Machine Learning, ML) для решения самых разных задач — от прогнозирования продаж до автоматизации процессов. Однако искусственный интеллект — это не какое-то волшебство, а математика, методы и алгоритмы, которые не будут работать без качественных и подходящих именно им данных. Чем больше качественных данных доступно для анализа, тем более сложные и точные модели можно построить. Меня зовут Анна Фенюшина, я ведущий архитектор направления «Дата-сервисы» в VK Tech. В этой статье я разберу, какие поколения ML существуют, какие данные нужны для их реализации и как современные хранилища могут помочь в развитии ИИ.

https://habr.com/ru/companies/vktech/articles/989456/

#vk_cloud #ИИ #ML #Data_Platform #vk_tech #vk_data_platform #object_storage #s3

Больше чем просто данные в S3. Iceberg как основа архитектуры Next-Gen КХД

Традиционные форматы хранения данных постепенно перестают удовлетворять требованиям современных распределенных вычислений и аналитики больших данных. Каскадные обновления метаданных, проблемы консистентности и высокая стоимость поддержки вынуждают искать альтернативы. Ответом на запросы стало появление формата Iceberg, который предложил новую парадигму организации структурированных данных, позволяющую эффективно управлять петабайтами информации даже в распределенных средах. Привет, Хабр. Меня зовут Алексей Белозерский. Я руководитель профессионального сервиса VK Data Platform , VK Tech. В этой статье я расскажу, что стало предпосылкой появления нового формата данных и что скрывает Iceberg «под толщей воды».

https://habr.com/ru/companies/vktech/articles/959398/

#iceberg #s3 #nextgen #lakehouse #data #bigdata #vk_tech #vk_cloud #vk_data_platform #datalakehouse

Как корректно и безопасно вывести диски OSD и узлы из кластера Ceph: подробный алгоритм от команды VK Tech

При работе с распределенными хранилищами на базе Ceph иногда возникает необходимость временно или окончательно исключить узел из кластера. Это может понадобиться при обновлении оборудования, обслуживании инфраструктуры или перераспределении ресурсов. Вместе с тем если узел, подлежащий выводу, одновременно исполняет роли MON (Monitor), MGR (Manager Daemon) и MDS (Metadata Server), задача превращается в настоящий квест hard-уровня. Но при должном подходе и с такими кейсами можно справиться. Меня зовут Алексей Косов. Я старший инженер доступности отдела интеграции и сопровождения облачных решений в команде VK Tech . СХД Ceph — это часть поставки нашего продукта для построения частного облака в ЦОДе заказчика VK Private Cloud . В этой статье я пошагово покажу, как можно вывести узел с полным комплектом сервисов Ceph из кластера, чтобы кластер и остальные узлы не пострадали.

https://habr.com/ru/companies/vktech/articles/960958/

#ceph #vk_cloud #OSD #диски #кластеры #vk_private_cloud #private_cloud #vk_tech #Active_MON #mgr

Как корректно и безопасно вывести диски OSD и узлы из кластера Ceph: подробный алгоритм от команды VK Tech

При работе с распределенными хранилищами на базе Ceph иногда возникает необходимость временно или окончательно исключить узел из кластера. Это может понадобиться при обновлении оборудования, обслуживании инфраструктуры или перераспределении ресурсов. Вместе с тем если узел, подлежащий выводу, одновременно исполняет роли MON (Monitor), MGR (Manager Daemon) и MDS (Metadata Server), задача превращается в настоящий квест hard-уровня. Но при должном подходе и с такими кейсами можно справиться. Меня зовут Алексей Косов. Я старший инженер доступности отдела интеграции и сопровождения облачных решений в команде VK Tech . СХД Ceph — это часть поставки нашего продукта для построения частного облака в ЦОДе заказчика VK Private Cloud . В этой статье я пошагово покажу, как можно вывести узел с полным комплектом сервисов Ceph из кластера, чтобы кластер и остальные узлы не пострадали.

https://habr.com/ru/companies/vktech/articles/960958/

#ceph #vk_cloud #OSD #диски #кластеры #vk_private_cloud #private_cloud #vk_tech #Active_MON #mgr

Как корректно и безопасно вывести диски OSD и узлы из кластера Ceph: подробный алгоритм от команды VK Tech

При работе с распределенными хранилищами на базе Ceph иногда возникает необходимость временно или окончательно исключить узел из кластера. Это может понадобиться при обновлении оборудования, обслуживании инфраструктуры или перераспределении ресурсов. Вместе с тем если узел, подлежащий выводу, одновременно исполняет роли MON (Monitor), MGR (Manager Daemon) и MDS (Metadata Server), задача превращается в настоящий квест hard-уровня. Но при должном подходе и с такими кейсами можно справиться. Меня зовут Алексей Косов. Я старший инженер доступности отдела интеграции и сопровождения облачных решений в команде VK Tech . СХД Ceph — это часть поставки нашего продукта для построения частного облака в ЦОДе заказчика VK Private Cloud . В этой статье я пошагово покажу, как можно вывести узел с полным комплектом сервисов Ceph из кластера, чтобы кластер и остальные узлы не пострадали.

https://habr.com/ru/companies/vktech/articles/960958/

#ceph #vk_cloud #OSD #диски #кластеры #vk_private_cloud #private_cloud #vk_tech #Active_MON #mgr

Как корректно и безопасно вывести диски OSD и узлы из кластера Ceph: подробный алгоритм от команды VK Tech

При работе с распределенными хранилищами на базе Ceph иногда возникает необходимость временно или окончательно исключить узел из кластера. Это может понадобиться при обновлении оборудования, обслуживании инфраструктуры или перераспределении ресурсов. Вместе с тем если узел, подлежащий выводу, одновременно исполняет роли MON (Monitor), MGR (Manager Daemon) и MDS (Metadata Server), задача превращается в настоящий квест hard-уровня. Но при должном подходе и с такими кейсами можно справиться. Меня зовут Алексей Косов. Я старший инженер доступности отдела интеграции и сопровождения облачных решений в команде VK Tech . СХД Ceph — это часть поставки нашего продукта для построения частного облака в ЦОДе заказчика VK Private Cloud . В этой статье я пошагово покажу, как можно вывести узел с полным комплектом сервисов Ceph из кластера, чтобы кластер и остальные узлы не пострадали.

https://habr.com/ru/companies/vktech/articles/960958/

#ceph #vk_cloud #OSD #диски #кластеры #vk_private_cloud #private_cloud #vk_tech #Active_MON #mgr

Кто следит за сторожем? Безопасная архитектура Gatekeeper в Managed Kubernetes

Привет! Меня зовут Александр, я ведущий разработчик VK Tech в команде, которая занимается сервисом Kubernetes в нашем публичном облаке . Все чаще провайдеры отказываются от модели, где пользователь получает полный контроль над кластером и всеми управляющими компонентами, в пользу управляемых (managed) решений. В такой архитектуре вы остаетесь администратором внутри своего кластера — создаете неймспейсы, деплоите приложения, настраиваете RBAC, — но инфраструктура, control plane и системные компоненты полностью управляются провайдером и скрыты от глаз пользователя. В начале декабря наша команда выпустила новый сервис managed-k8s, в котором как раз реализован такой подход. Я расскажу вам про то, как выглядит наш Kubernetes с точки зрения архитектуры и каким образом Gatekeeper делает архитектуру безопасной.

https://habr.com/ru/companies/vktech/articles/972982/

#vk_cloud #Gatekeeper #Kubernetes #KaaS #PaaS #managedk8s #k8s #security #архитектура #managed

LuaJIT: что делает его таким производительным и почему вам стоит его попробовать

LuaJIT является одной из наиболее производительных реализаций динамического языка программирования. В этой статье мы рассмотрим, благодаря каким механизмам и подходам достигается такой результат. Эта статья не дает всех ответов, но задает необходимую базу и направления для самостоятельного изучения темы. Меня зовут Максим Кокряшкин, я занимаюсь разработкой языковых рантаймов в Tarantool. Это решение класса middleware, разрабатываемое VK Tech, сочетающее в себе базу данных in-memory и application-сервер. Как раз таки наш application-сервер, который позволяет писать логику и хранимые процедуры, работает на LuaJIT

https://habr.com/ru/companies/vktech/articles/931270/

#tarantool #lua #luajit #vk #vk_tech #vk_cloud

Смотрим под капот объектному хранилищу VK Cloud: что скрывает архитектура Object Storage

Современные компании оперируют терабайтами или даже петабайтами данных. Но часто эти данные имеют разный формат, степень структурированности и не нужны в «горячем» доступе, поэтому зачастую хранить весь массив в традиционных БД не только невозможно, но и нерационально. Как результат, бизнес все чаще использует объектные S3-хранилища. Меня зовут Андрей Капустин. Я менеджер продукта Tarantool в компании VK Tech. В этой статье я расскажу об объектном хранилище VK Cloud, его архитектуре и месте Tarantool в ней.

https://habr.com/ru/companies/vktech/articles/917190/

#vk_cloud #s3 #объектное_хранилище #vk_tech #object_storage #хранилище_данных #tarantool

Когда существующих решений недостаточно: сложности построения собственных СУБД

Нередко оказывается, что даже в большом «зоопарке» общедоступных решений нет инструмента, отвечающего всем требованиям. В таком случае команды вынуждены двигаться в сторону разработки своего продукта. Меня зовут Александр Кленов. Я тимлид разработки Tarantool DB в команде Tarantool. В этой статье я расскажу, почему мы решили добавить в свой продуктовый портфель Tarantool DB и что реализовали в инструменте, а также покажу на примере словарей, почему строить свою СУБД сложно.

https://habr.com/ru/companies/vk/articles/844884/

#tarantool #vk_cloud #mysql #СУБД

Domain-Driven Design: чистый подход к проектированию бизнес-логики

Недавно наша команда столкнулась с новым проектом — крупной backend-системой, которую руководство решило реализовать в формате монорепозитория. Масштаб бизнес-логики оказался огромным, и быстро стало понятно, что без четкой архитектурной дисциплины невозможно поддерживать читаемость, изолировать бизнес-логику и эффективно управлять сложностью. Поэтому мы выбрали подход Domain-Driven Design (DDD), при котором домен описывает бизнес-правила, а оркестратор и инфраструктура вынесены в отдельные слои. Меня зовут Рамиль Куватов, я разработчик в VK Tech, и эта статья — попытка описать и систематизировать принципы, которые помогают нам сохранять архитектуру чистой, а систему — устойчивой к изменениям.

https://habr.com/ru/companies/vk/articles/913886/

#vk_cloud #ddd #domaindriven_design #vk_tech

От установки до использования: пример развертывания сервиса шифрования данных в покое

Нарушение конфиденциальности данных, хранящихся на серверах компаний, недопустимо и неизбежно ведет к тяжелым последствиям. Поэтому компании стараются «обвешать» свои хранилища всеми возможными мерами защиты. В том числе прибегают к использованию сервисов шифрования данных в состоянии покоя, которые гарантируют, что даже если злоумышленник получит физический доступ к устройству, он не сможет прочитать находящиеся на нем данные без ключей расшифровки.

https://habr.com/ru/companies/vk/articles/820617/

#vk_cloud #шифрование #шифрование_данных #cryptsetup #Hashicorp

Прогнозы по мировому ИИ на 2026: конец эпохи хайпа и начало эпохи эффективности

2025-й заканчивается сдвигом в индустрии ИИ: фокус уходит от масштабного обучения к энергоэффективному инференсу, где универсальные GPU Nvidia уступают специализированным TPU и Trainium. Техногиганты вроде Google и AWS анонсировали чипы с преимуществами в 4–5 раз по цене и энергопотреблению, а сделки на миллиарды фиксируют новый расклад сил. Разберем, почему 2026-й станет годом экономического дарвинизма для железа и софта.

https://habr.com/ru/companies/vktech/articles/974790/

#vk_cloud #ИИ #AI #Nvidia #OpenAI #Trainium #Google_TPU #DeepSeek #Qwen #vk_tech

Прогнозы по мировому ИИ на 2026: конец эпохи хайпа и начало эпохи эффективности

2025-й заканчивается сдвигом в индустрии ИИ: фокус уходит от масштабного обучения к энергоэффективному инференсу, где универсальные GPU Nvidia уступают специализированным TPU и Trainium. Техногиганты вроде Google и AWS анонсировали чипы с преимуществами в 4–5 раз по цене и энергопотреблению, а сделки на миллиарды фиксируют новый расклад сил. Разберем, почему 2026-й станет годом экономического дарвинизма для железа и софта.

https://habr.com/ru/companies/vktech/articles/974790/

#vk_cloud #ИИ #AI #Nvidia #OpenAI #Trainium #Google_TPU #DeepSeek #Qwen #vk_tech

Прогнозы по мировому ИИ на 2026: конец эпохи хайпа и начало эпохи эффективности

2025-й заканчивается сдвигом в индустрии ИИ: фокус уходит от масштабного обучения к энергоэффективному инференсу, где универсальные GPU Nvidia уступают специализированным TPU и Trainium. Техногиганты вроде Google и AWS анонсировали чипы с преимуществами в 4–5 раз по цене и энергопотреблению, а сделки на миллиарды фиксируют новый расклад сил. Разберем, почему 2026-й станет годом экономического дарвинизма для железа и софта.

https://habr.com/ru/companies/vktech/articles/974790/

#vk_cloud #ИИ #AI #Nvidia #OpenAI #Trainium #Google_TPU #DeepSeek #Qwen #vk_tech

Прогнозы по мировому ИИ на 2026: конец эпохи хайпа и начало эпохи эффективности

2025-й заканчивается сдвигом в индустрии ИИ: фокус уходит от масштабного обучения к энергоэффективному инференсу, где универсальные GPU Nvidia уступают специализированным TPU и Trainium. Техногиганты вроде Google и AWS анонсировали чипы с преимуществами в 4–5 раз по цене и энергопотреблению, а сделки на миллиарды фиксируют новый расклад сил. Разберем, почему 2026-й станет годом экономического дарвинизма для железа и софта.

https://habr.com/ru/companies/vktech/articles/974790/

#vk_cloud #ИИ #AI #Nvidia #OpenAI #Trainium #Google_TPU #DeepSeek #Qwen #vk_tech

От таблицы в Excel до собственного инструмента: как мы строили в VK Cloud решение для работы с внешними партнерами

Обмен данными между компаниями-партнерами при реализации совместных проектов — стандартная практика. Но часто есть сценарии, которые требуют особого подхода — например, из-за необходимости подстраивать формат отображения данных под специфику работы с информацией на стороне партнера. Более специфической такая задача становится, если готовых решений под такие запросы нет. С подобной ситуацией сталкивались и мы в VK. Меня зовут Елена Климанова. Я ведущий дата-аналитик в компании VK. В этой статье расскажу, как и почему мы прошли путь от использования excel-файлов при работе с внешними партнерами-вендорами до создания собственного продукта.

https://habr.com/ru/companies/vk/articles/911960/

#vk_cloud #анализ_данных #хранение_данных #BI #clickhouse #airflow #mytracker #redash

IPsec, GRE, BGP и немного автоматизации для высокой доступности вашей сети

Построение отказоустойчивой гибридной сети между локальной инфраструктурой и облаком — одна из ключевых задач при миграции. Стандартных решений здесь не существует: выбор архитектуры и технологий зависит от требований безопасности, производительности и желания избежать vendor lock-in. Я хочу показать один из способов решения такой задачи на примере облака VK Cloud с учетом специфики его SDN-сети. Отдельно хочется добавить, что рассматриваемый в статье подход к построению сетевой связности может быть успешно применен не только в VK Cloud. В основу статьи легли вопросы и задачи, с которыми клиенты часто обращаются к командам Presale архитекторов и Professional services VK Cloud, когда они хотят построить надежное гибридное решение для своего бизнеса. Мне хотелось написать статью, которая будет не научно-популярным повествованием, а практическим руководством, систематизирующим имеющиеся знания по разным продуктам и сетевым технологиям.

https://habr.com/ru/companies/vktech/articles/972496/

#vk_cloud #SDN #IaaS #Terraform #vk_tech #vpn #ansible

Мультизональный PostgreSQL своими руками: декомпозиция трудозатрат

Разговор о собственном PostgreSQL-кластере обычно начинается с фразы: «Да там поставить — день работы». Технически это правда. Установка PostgreSQL на два сервера в разных ЦОДах действительно занимает несколько часов. Проблема в том, что установка — это меньше 10% работы до Production-ready-состояния. В этой статье мы декомпозируем все задачи, которые стоят между идеей развертывания и работающим кластером с отказоустойчивостью между ЦОДами. Все с оценками в человеко-часах, чтобы можно было собрать для себя TCO и сопоставить свои затраты. Учтите, что если все это вы делаете в первый раз, то по всем шагам время увеличивается втрое. Параллельно покажем те же временные и трудозатраты при выборе Managed-решения, DBaaS (базы данных как сервис), чтобы вы могли сравнить и выбрать — делать дальше самим или передать это на аутсорс.

https://habr.com/ru/companies/vktech/articles/986468/

#vk_cloud #PostgreSQL #DBaaS #базы_данных #vk_tech