home.social

#коннекторы — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #коннекторы, aggregated by home.social.

  1. Обзор Агредатор

    На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре Агредатор.

    habr.com/ru/companies/w_code/a

    #шина_данных #корпоративная_шина_данных #интеграционная_платформа #коннекторы #esb #enterprise_service_bus #rabbitmq #kafka #ruby

  2. Обзор Агредатор

    На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре Агредатор.

    habr.com/ru/companies/w_code/a

    #шина_данных #корпоративная_шина_данных #интеграционная_платформа #коннекторы #esb #enterprise_service_bus #rabbitmq #kafka #ruby

  3. Обзор Platformeco

    На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в Platformeco. С 2024 года я встречаюсь с вендорами и делаю обзоры продуктов, которые относятся к классу ESB. За это время удалось пообщаться с разработчиками 20+ разных решений. Для всех, кто интересуется шинами данных, я также создал сообщество в Телеграме «Шины не для машины» . Это площадка для диалога между российскими разработчиками ESB и компаниями, которым нужна интеграционная шина.

    habr.com/ru/companies/w_code/a

    #platformeco #шина_данных #корпоративная_шина_данных #интеграционная_платформа #javascript #коннекторы #esb #enterprise_service_bus

  4. Forza Tarantool: разработка на C для встроенного сервера приложений

    Tarantool – это in-memory СУБД с открытым исходным кодом, разрабатываемая VK Cloud . Существует два способа разработки приложений для Tarantool. Как и к большинству СУБД, к Tarantool можно подключаться из внешнего приложения по TCP/IP. С этой целью для многих популярных языков программирования (включая Go, Python, C#, С++, Java и др.) разработаны соответствующие коннекторы . Это – первый способ. Кроме этого, Tarantool обладает замечательной особенностью: он позволяет запускать бизнес-логику на встроенном сервере приложений. В этом случае пользовательский код исполняется в одном адресном пространстве с данными, что обеспечивает высокое быстродействие. Это – второй способ. Если мы ведем разработку для встроенного сервера приложений Tarantool, то выбор языков программирования более ограничен. Основным языком программирования, в этом случае, является Lua. Также, часть логики может быть реализована на C/C++. Но набор доступных языков расширяется. Например, с некоторого времени, поддерживается Rust . Помимо этого, Tarantool может выполнять Wasm-приложения. Скоро код библиотеки для разработки на Wasm будет открыт. Tarantool – высокопроизводительная СУБД, часто используемая для построения highload-систем. Какой из вариантов разработки позволяет достичь максимального быстродействия (которое в таких системах будет не лишним)? В настоящей статье я хотел бы рассмотреть возможные способы вызова C-кода из Lua/LuaJIT/Tarantool (в режиме сервера приложений) и то, как это может ускорить и без того быструю СУБД.

    habr.com/ru/companies/vktech/a

    #tarantool #c_la #luajit #lua #highload #vk_tech #vk_data_platform #коннекторы

  5. История одного коннектора: как мы научили Qlik говорить с каталогом данных

    В статье рассказывается, как команда интегрировала Qlik с OpenMetadata, создав собственный коннектор вместо использования коробочного решения. Авторы объясняют, почему стандартный подход не обеспечивал нужного lineage и привязки к глоссарию, и как они решили проблему с помощью парсера скриптов Qlik, поддержки include-файлов и доменной модели Business Views. В результате удалось связать дашборды с источниками данных и бизнес-терминами, сократив время поиска отчётов с 2 часов до 2 минут и обеспечив покрытие lineage более чем для 85% приложений. Статья будет полезна тем, кто сталкивается с управлением метаданными в крупных BI-инфраструктурах.

    habr.com/ru/companies/megafon/

    #etl #коннекторы #датакаталог

  6. Новый open source Java коннектор для Tarantool: практика с примерами кода

    VK Tech открывает исходный код коннектора Tarantool Java EE и переименовывает его в Tarantool Java SDK. Дистрибутив станет доступен в Maven Central, что упростит интеграцию с Java-приложениями в корпоративных средах. Меня зовут Артём Дубинин, я старший программист в VK Tech. Я разрабатываю коннекторы к Tarantool, а также участвую в разработке различных продуктов в VK Tech. Однажды я понял, что материала про совместную работу Java и Tarantool очень мало и из-за этого может казаться, что совмещать их сложно. Но на самом деле это не так — и иногда альтернативы Tarantool могут быть даже сложнее во взаимодействии. Поэтому я и решил написать эту статью. Цель статьи — показать через код, что Tarantool реально совместить с Java без больших полотен кода, а итеративно с небольшими сниппетами (не считая java импортов и xml 😄). Мы будем использовать такие, чтобы каждый мог попробовать провести у себя на компьютере эти эксперименты и понять, что Tarantool легок в использовании.

    habr.com/ru/companies/vktech/a

    #Tarantool #архитектура #Java #коннекторы #Redis #nosql #spring #spring_data #open_source #vk_tech

  7. Оптимизация инсертов в ClickHouse через Kafka Sink-коннекторы

    Меня зовут Артем Москальков, я — ведущий инженер данных в Магнит OMNI. В статье я расскажу о том, как мы оптимизировали производительность кластера в ClickHouse. Частые мелкие вставки данных через Kafka Sink-коннектор серьёзно замедляли работу ClickHouse из-за огромного числа отдельных запросов. Путём настройки параметров потребителя Kafka и включения объединения партиций удалось сгруппировать записи в крупные блоки, что резко снизило нагрузку на базу и многократно увеличило её пропускную способность.

    habr.com/ru/companies/magnit/a

    #kafka #инсерт #оптимизация_запросов #clickhouse #коннекторы #insert #etl #etlпроцессы #dwh #elt

  8. Волоконно‑оптические линии связи: классификация, особенности и применимость компонентов

    Помните медленные жужжащие модемы? А как приходилось ждать загрузки видео целую вечность? Вся цифровая индустрия преобразилась благодаря оптическим волокнам. Привет! На связи Роман Михайлов, системный инженер

    habr.com/ru/companies/selectel

    #selectel #волс #связь #линии_связи #сети #волоконнооптический_кабель #коннекторы #трансиверы

  9. Руководство по построению коннекторов к СУБД на примере Tarantool

    В сложных ИТ-системах важны не только основные модули, но и механизмы их взаимодействия — коннекторы (они же драйверы). Например, без них сложно выстроить связь приложения с базой данных. Но закрыть все потребности существующими драйверами не всегда возможно: они могут не удовлетворять требованиям по производительности, функциональности или даже совместимости. По этим причинам разработчикам приходится создавать свои драйверы к СУБД. Меня зовут Иван Банников. Я ведущий разработчик команды Data Integration Team из экосистемы Tarantool. В этой статье я расскажу о разработке драйверов на примере создания коннектора к Tarantool.

    habr.com/ru/companies/vk/artic

    #tarantool #vkcloud #субд #драйвер #коннекторы