#arenadata — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #arenadata, aggregated by home.social.
-
Опыт НРД: внедрение Kafka GitOps или как автоматизировать управление топиками и ACL в Arenadata Streaming Kafka
Привет! Мы — команда сопровождения депозитарных систем Национального Расчетного Депозитария (НРД), входящего в Группу «Московская биржа». В данной статье мы расскажем об успешном кейсе внедрения продукта Kafka GitOps (в прошлой статье мы уже рассказывали про преимущества этого продукта) для автоматизации управления топиками и ACL в масштабах НРД.
-
6 лайфхаков при внедрении СУБД: учимся на чужих граблях
Привет, Хабр! Меня зовут Кирилл Тарасов, я — инженер данных в K2Tех. Наша команда Big Data & Bi работает с 2006 года, мы активно занимаемся Greenplum, Arenadata Hadoop/Streaming и внедряем собственные наработки, такие как ELT Framework. Также с 2012 года мы создаём аналитические системы и хранилища данных, и за это время моя команда столкнулась с самыми разными ситуациями, которые вызывали различные проблемы для реальной продуктивной эксплуатации СУБД. Некоторые из них были связаны с настройками баз данных, другие — с компонентами защиты, а третьи были настолько необычными, что их причиной оказалось исключительно странное и редкое поведение бизнес-логики, с которым разработчики хранилищ данных почти не сталкиваются. В этой статье вы найдете шесть кейсов, которые могут встретиться на любом проекте. Они помогут избежать попадания «ложки дегтя» в ваше хранилище.
https://habr.com/ru/companies/k2tech/articles/970874/
#субд #arenadata #работа_с_данными #хранилища_данных #миграция_данных
-
Greengage DB: новый open-source монстр MPP-аналитики. Конец эпохи Greenplum?*
Что, если Greenplum пережил перерождение? Новый проект Greengage DB возвращает PostgreSQL в большую игру — теперь с авто-масштабированием, чистым ядром и реальной совместимостью. Разбираемся, почему этот форк может стать «Linux для аналитики».
-
Секреты Spark в Arenadata Hadoop: как мы ускорили построение витрин для задач ML
Привет, Хабр! Я Дмитрий Жихарев, CPO Платформы искусственного интеллекта RAISA в Лаборатории ИИ РСХБ-Интех. В этой статье я и архитектор нашей платформы Александр Рындин @aryndin9999 расскажем о том, как мы построили взаимодействие Платформы ИИ и Озера данных для работы с витринами данных моделей машинного обучения с использованием Spark.
https://habr.com/ru/companies/rshb/articles/904072/
#spark #arenadata #hadoop #datalake #витрина_данных #ai #платформа #livy
-
Секреты Spark в Arenadata Hadoop: как мы ускорили построение витрин для задач ML
Привет, Хабр! Я Дмитрий Жихарев, CPO Платформы искусственного интеллекта RAISA в Лаборатории ИИ РСХБ-Интех. В этой статье я и архитектор нашей платформы Александр Рындин @aryndin9999 расскажем о том, как мы построили взаимодействие Платформы ИИ и Озера данных для работы с витринами данных моделей машинного обучения с использованием Spark.
https://habr.com/ru/companies/rshb/articles/904072/
#spark #arenadata #hadoop #datalake #витрина_данных #ai #платформа #livy
-
Секреты Spark в Arenadata Hadoop: как мы ускорили построение витрин для задач ML
Привет, Хабр! Я Дмитрий Жихарев, CPO Платформы искусственного интеллекта RAISA в Лаборатории ИИ РСХБ-Интех. В этой статье я и архитектор нашей платформы Александр Рындин @aryndin9999 расскажем о том, как мы построили взаимодействие Платформы ИИ и Озера данных для работы с витринами данных моделей машинного обучения с использованием Spark.
https://habr.com/ru/companies/rshb/articles/904072/
#spark #arenadata #hadoop #datalake #витрина_данных #ai #платформа #livy
-
Секреты Spark в Arenadata Hadoop: как мы ускорили построение витрин для задач ML
Привет, Хабр! Я Дмитрий Жихарев, CPO Платформы искусственного интеллекта RAISA в Лаборатории ИИ РСХБ-Интех. В этой статье я и архитектор нашей платформы Александр Рындин @aryndin9999 расскажем о том, как мы построили взаимодействие Платформы ИИ и Озера данных для работы с витринами данных моделей машинного обучения с использованием Spark.
https://habr.com/ru/companies/rshb/articles/904072/
#spark #arenadata #hadoop #datalake #витрина_данных #ai #платформа #livy
-
Миф о дешевом железе: полный расчет стоимости КХД для облака и локальных решений
Корпоративное хранилище данных (КХД) — один из ключевых компонентов любой ИТ-системы, который необходим для безопасного хранения и использования всех данных компании. Но построение КХД нередко превращается в «задачу со звездочкой» еще на этапе выбора платформы для развертывания: многим компаниям сложно определить, какой из вариантов будет не только надежнее, но и дешевле. В этой статье попробуем в деталях и на примерах разобрать, какой вариант развертывания экономически рентабельнее и что стоит учитывать при выборе платформы для построения КХД. Материал подготовлен директором центра бизнес-решений VK Tech Константином Дудниковым и директором по развитию облачного бизнеса Группы Arenadata Антоном Близгаревым @beton55.
-
Первичный анализ производительности запросов в Arenadata DB 6.27 и Cloudberry Database 1.6
Некоторое время назад руководитель задал мне вопрос: «Какой MPP-кластер лучше с точки зрения разработчика: Arenadata 6 или Cloudberry?» Я рассказал про версии PostgreSQL, лежащие в основе этих кластеров, - 9 и 14 соответственно. Еще сказал, что для детального анализа производительности желательно развернуть кластеры на серверах, заполнить их данными и выполнить побольше разных запросов. Мой ответ руководителю не понравился, пришлось выдумывать методику первичного анализа производительности кластеров «на берегу», до разворачивания на серверах. Оказалось, что интересные данные о производительности кластеров можно получить и на персональном компьютере.
https://habr.com/ru/articles/882082/
#arenadata #mppбазы #cloudberry #производительность #sqlзапросы
-
«Перебросить код через стену из юристов — еще не значит сделать его открытым», — Константин Осипов, основатель Picodata
Продолжаю рассказывать об open source в России. На этот раз удалось поговорить с @kostja об открытой разработке с точки зрения стратегии и управленческих аспектов. В том числе поговорили о лицензиях, работе с сообществом и не только.
https://habr.com/ru/articles/879342/
#open_source_в_россии #константин_осипов #picodata #стратегическое_управление #менеджмент #open_source #arenadata #интервью
-
Первая ракета в космосе или миграция витрины эквайринг на ArenaData DB
Привет, Хабр! Меня зовут Иван Останин , я тимлид разработки в ВТБ. Направлением работы моей команды являются платформы данных. Сейчас мы работаем над проектом модернизации платформы данных банка. Сегодня я хочу поделиться с вами нашим опытом и инсайтами, которые мы получили в процессе этой масштабной и сложной задачи. Миграция решений на новую платформу — это, как запуск ракеты в космос: требует тщательной подготовки, командной работы и решений, которые не всегда очевидны. В этой статье я расскажу о нашем подходе, проблемах, с которыми мы столкнулись, и решениях, которые помогли нам успешно справиться с задачами. Надеюсь, наш опыт будет полезен вам и поможет в ваших проектах. Поехали!
https://habr.com/ru/companies/T1Holding/articles/834540/
#эквайринг #витрина_данных #etl #хранилище_данных #импортозамещение #business_intelligence #озеро_данных #dapp #arenadata #цех
-
Первая ракета в космосе или миграция витрины эквайринг на ArenaData DB
Привет, Хабр! Меня зовут Иван Останин , я тимлид разработки в ВТБ. Направлением работы моей команды являются платформы данных. Сейчас мы работаем над проектом модернизации платформы данных банка. Сегодня я хочу поделиться с вами нашим опытом и инсайтами, которые мы получили в процессе этой масштабной и сложной задачи. Миграция решений на новую платформу — это, как запуск ракеты в космос: требует тщательной подготовки, командной работы и решений, которые не всегда очевидны. В этой статье я расскажу о нашем подходе, проблемах, с которыми мы столкнулись, и решениях, которые помогли нам успешно справиться с задачами. Надеюсь, наш опыт будет полезен вам и поможет в ваших проектах. Поехали!
https://habr.com/ru/companies/T1Holding/articles/834540/
#эквайринг #витрина_данных #etl #хранилище_данных #импортозамещение #business_intelligence #озеро_данных #dapp #arenadata #цех
-
Первая ракета в космосе или миграция витрины эквайринг на ArenaData DB
Привет, Хабр! Меня зовут Иван Останин , я тимлид разработки в ВТБ. Направлением работы моей команды являются платформы данных. Сейчас мы работаем над проектом модернизации платформы данных банка. Сегодня я хочу поделиться с вами нашим опытом и инсайтами, которые мы получили в процессе этой масштабной и сложной задачи. Миграция решений на новую платформу — это, как запуск ракеты в космос: требует тщательной подготовки, командной работы и решений, которые не всегда очевидны. В этой статье я расскажу о нашем подходе, проблемах, с которыми мы столкнулись, и решениях, которые помогли нам успешно справиться с задачами. Надеюсь, наш опыт будет полезен вам и поможет в ваших проектах. Поехали!
https://habr.com/ru/companies/T1Holding/articles/834540/
#эквайринг #витрина_данных #etl #хранилище_данных #импортозамещение #business_intelligence #озеро_данных #dapp #arenadata #цех
-
Как правильно использовать большие данные: строим хранилища на MPP-СУБД
Немного контекста. · Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики. · Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах. · Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход. Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.
-
Что нового в Greenplum 7. Заключение
Перед вами заключительная, третья часть обзора изменений в Greenplum 7. Если вы по каким-то причинам пропустили прошлые публикации, то их можно найти в нашем блоге здесь и здесь . А сегодня мы поговорим об изменениях в партиционировании таблиц и ресурсных группах, JIT-компиляции выражений и многом другом. Давайте начнём! Назад в Будущее III
https://habr.com/ru/companies/arenadata/articles/824116/
#postgresql #greenplum #db #sql #arenadata_db #arenadata #highload #mpp #opensourse #bigdata
-
Что нового в Greenplum 7. Часть 2
В прошлой части обзора изменений и нововведений Greenplum 7 мы рассмотрели миграцию движка Append Optimized таблиц на использование интерфейса табличных методов доступа, оптимизацию добавления столбцов в таблицы, а также изменения, связанные с поддержкой индексов. Сегодня мы поговорим об ещё одном новом для Greenplum типе индексов и не только. Назад в Будущее II...
https://habr.com/ru/companies/arenadata/articles/822309/
#greenplum #postgres #sql #db #arenadata_db #arenadata #highload #mpp #opensourse #bigdata
-
Что нового в Greenplum 7
- Что вы ожидаете от Greenplum 7? - Postgres 12! Если бы мы проводили опрос наших заказчиков, ответ на данный вопрос прозвучал бы именно так. Как известно, Greenplum является одним из многочисленных форков Postgres, кодовая база которого наконец-то догнала ещё пока поддерживаемую версию Postgres (отмечу, что последний релиз Postgres 12 состоится в ноябре текущего года). Однако, наличие какого-либо функционала в Postgres не гарантирует его работу в рамках распределённой системы. В этой статье я начну рассказывать о функциях, которые стали доступны в новой версии, и о том, какой путь пришлось пройти, чтобы обеспечить их работоспособность, а также о возможных ограничениях и причинах их возникновения. Назад в Будущее...
https://habr.com/ru/companies/arenadata/articles/820807/
#postgresql #greenplum #sql #db #arenadata_db #arenadata #highload #mpp #opensourse #bigdata
-
Миграция Big Data на практике: как мы готовили напильники
Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data Appliance с Cloudera Hadoop Distribution внутри. И всё было хорошо, пока Oracle не решил прекратить развивать это направление бизнеса. Тогда пришлось задуматься об альтернативе, и мы обратились к Arenadata Hadoop. По пути мы столкнулись с некоторыми, так скажем, особенностями: пришлось кое-что допиливать напильником. Сейчас многие сталкиваются с похожими проблемами импортозамещения продуктов. Так что мы с коллегой, директором проектов службы развития больших данных Дмитрием Власовым, решили написать эту статью, чтобы подсказать решения и предупредить о трудностях.
-
Миграция Big Data на практике: как мы готовили напильники
Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data Appliance с Cloudera Hadoop Distribution внутри. И всё было хорошо, пока Oracle не решил прекратить развивать это направление бизнеса. Тогда пришлось задуматься об альтернативе, и мы обратились к Arenadata Hadoop. По пути мы столкнулись с некоторыми, так скажем, особенностями: пришлось кое-что допиливать напильником. Сейчас многие сталкиваются с похожими проблемами импортозамещения продуктов. Так что мы с коллегой, директором проектов службы развития больших данных Дмитрием Власовым, решили написать эту статью, чтобы подсказать решения и предупредить о трудностях.
-
Миграция Big Data на практике: как мы готовили напильники
Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data Appliance с Cloudera Hadoop Distribution внутри. И всё было хорошо, пока Oracle не решил прекратить развивать это направление бизнеса. Тогда пришлось задуматься об альтернативе, и мы обратились к Arenadata Hadoop. По пути мы столкнулись с некоторыми, так скажем, особенностями: пришлось кое-что допиливать напильником. Сейчас многие сталкиваются с похожими проблемами импортозамещения продуктов. Так что мы с коллегой, директором проектов службы развития больших данных Дмитрием Власовым, решили написать эту статью, чтобы подсказать решения и предупредить о трудностях.