#интеграция_данных — Public Fediverse posts

В Санкт-Петербурге завершился INFOSTART TECH EVENT 2026

8–10 октября в отеле «Санкт-Петербург» прошла INFOSTART TECH EVENT 2026 - профессиональная техническая конференция для специалистов по 1С и автоматизации бизнеса. Три дня докладов, дискуссий и демонстраций были посвящены развитию корпоративных систем: от применения ИИ в разработке и тестировании до архитектуры, интеграций и производительности. Программу дополнили оформление в стиле тёмного фэнтези и INFOSTART PARTY. Участники отмечали высокий уровень организации конференции. Программа включала более 130 докладов и круглых столов. Основные направления охватывали приёмы и практики разработки, идеи и технологические тренды, интеграцию и обмен данными, администрирование СУБД и HighLoad, DevOps, тестирование и качество ПО, техническое развитие команды и личную эффективность разработчика. Такой состав позволял рассматривать задачи автоматизации вместе с требованиями к качеству, инфраструктуре и организации работы.

https://habr.com/ru/companies/infostart/articles/1093194/

#highload #автоматизация_тестирования #devops #интеграция_данных #профессиональное_сообщество #ииагенты #конференция_1с #infostart_tech_event #infostart_tech_event_2026 #архитектура_корпоративных_систем

DVT — новый open source ETL (Low-Code и не только)

Привет! На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Я достаточно много занимаюсь интеграциями, хранилищами данных и BI, поэтому, когда ребята из «Денвик Аналитика» предложили познакомиться с новым инструментом DVT, не стал отказываться.

https://habr.com/ru/companies/w_code/articles/1090414/

#денвик #etl #lowcode #open_source #data_pipeline #интеграция_данных #BI #PostgreSQL #ClickHouse #Python

Неделя до INFOSTART TECH EVENT 2026: практики 1С в мире темного фэнтези

8 октября в Санкт-Петербурге начнется INFOSTART TECH EVENT 2026. В этом году крупнейшая конференция Инфостарта пройдет в атмосфере темного фэнтези. В программе - более 130 докладов, круглых столов и дискуссий о разработке 1С, производительности, качестве релизов и применении ИИ. 8–10 октября в отеле «Санкт-Петербург» встретятся разработчики, архитекторы, тестировщики, DevOps-инженеры, системные администраторы и руководители технических команд. Программа и расписание опубликованы — можно заранее составить маршрут по выступлениям и выбрать очное или онлайн-участие. Семь основных направлений охватывают практики разработки, технологические тренды, интеграции, администрирование СУБД и HighLoad, DevOps, качество ПО и развитие команд. В основе программы - опыт реальных проектов: как выбирали решения, с какими ограничениями столкнулись и что получили в результате.

https://habr.com/ru/companies/infostart/articles/1088690/

#1С #Инфостарт #INFOSTART_TECH_EVENT_2026 #разработка_1С #искусственный_интеллект #HighLoad #PostgreSQL #DevOps #тестирование #интеграция_данных

Сколько телефонов и планшетов продали партнёры: единое хранилище данных для бренда TECNO

На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». В компаниях с развитой сетью партнеров топ-менеджерам нужны оперативные данные. А отчеты в Excel тормозят работу. Сегодня рассказываю, как можно организовать и настроить единое хранилище данных на примере бренда TECNO.

https://habr.com/ru/companies/w_code/articles/1083386/

#кхд #корпоративное_хранилище_данных #dwh #mdm #1с #хранилище_данных #аналитика_продаж #интеграция_данных #автоматизация_отчетности

Как автоматизировать выгрузку данных из 1С: SQL или готовый ETL-инструмент

Как организовать регулярную выгрузку данных из 1С, если ручной экспорт уже не справляется с объемом и частотой обновлений? В статье сравниваются два подхода: прямой доступ к базе через SQL и использование готового ETL-инструмента. Разбираем скорость, сложность настройки, требования к специалистам, риски для безопасности и сопровождения системы. Также показываем, в каких случаях оправдан SQL, а когда удобнее использовать готовый инструмент для автоматической выгрузки данных по расписанию без постоянного участия разработчика.

https://habr.com/ru/companies/infostart/articles/1077596/

#1С #выгрузка_данных #автоматизация #SQL #ETL #интеграция_данных #базы_данных #Data_Engineering #обработка_данных #аналитика_данных

Kafka Connect без магии: как переносить данные и не писать еще один сервис

Привет, бойцы , вы готовы победить перенос данных? Есть задача: перенести данные из PostgreSQL в Kafka. Первая мысль: написать небольшой сервис. Он будет выполнять SELECT , превращать строки в сообщения и отправлять их через Kafka Producer. На схеме все выглядит почти безобидно:

https://habr.com/ru/articles/1078340/

#apache_kafka #kafka_connect #source_connector #smt #интеграция_данных #потоковая_обработка #распределенные_системы #postgresql

Интеграция Oracle с PostgreSQL через гетерогенный сервис

На Хабре не так много информации об интеграции между различными СУБД, и я решил поделиться своим опытом построения информационной системы на базе Oracle, которая взаимодействует с PostgreSQL (PG). Статья состоит их двух частей: в первой описана конфигурация СУБД, а во второй описан кейс по получению и обработке данных. Надеюсь, этот материал сэкономит Вам время при решении подобных задач.

https://habr.com/ru/articles/1073682/

#интеграция_данных #oracle_database #postgresql

Как я устал писать парсер под каждый прайс и сделал из этого библиотеку

У нас на проекте десятки прайсингов на топливо: один вендор шлёт CSV, другой Excel, третий JSON на вебхук. Данные одни и те же, но колонка цены везде называется по-своему, даты в трёх форматах, единицы то литры, то галлоны, а половина нужных полей просто отсутствует. И под каждый источник у меня жил отдельный парсер на сотню строк if-else. Сначала их было три, потом восемь, потом я перестал считать. А по-настоящему добило другое: эти парсеры ломались молча. Вендор тихо переименовывал колонку. В третий раз за месяц копируя один и тот же парсер, я понял, что так нельзя, и вынес логику маппинга из кода в данные. Из этого выросла библиотека fidelis: ты описываешь данные один раз как Pydantic-модель, а соответствие под каждый кривой источник один раз пишет LLM — в виде читаемой YAML-спеки, которую ты ревьюишь и коммитишь. Дальше LLM не нужен: чистый детерминированный Python, валидация каждой строки и отлов изменений схемы ещё в CI. Рассказываю, как дошёл до жизни такой и как это устроено.

https://habr.com/ru/articles/1053956/

#python #парсинг_данных #ETL #pydantic #обработка_csv #интеграция_данных #llm #конвейер_данных #валидация_данных #open_source

Сколько телефонов и планшетов продали партнёры: единое хранилище данных для бренда электроники

На связи Анна Астахова, коммерческий директор ИТ-интегратора «Белый код». В компаниях с развитой сетью партнеров топ-менеджерам нужны оперативные данные. А отчеты в Excel тормозят работу. Сегодня рассказываю, как можно организовать и настроить единое хранилище данных на примере компании с широкой партнёрской сетью в сфере электроники.

https://habr.com/ru/companies/w_code/articles/1037632/

#dwh #mdm #1с #хранилище_данных #аналитика_продаж #интеграция_данных #автоматизация_отчетности

Объединяем SCADA, MES и ERP без «мусора на входе»

Когда модель промышленной аналитики начинает показывать отрицательный расход электроэнергии или теряет 15% сырья на ровном месте, проблема часто лежит глубже качества данных и выбора алгоритма. SCADA, MES и ERP могут хранить корректные числа, но вкладывать в них разный смысл: по времени, единицам измерения, границам операции и правилам учета. В статье разбираем, как возникает семантическая несогласованность между промышленными и корпоративными системами, почему обычная очистка данных здесь бессильна и как семантический слой помогает превратить разрозненные показатели в пригодную для аналитики картину. Перейти к разбору

https://habr.com/ru/companies/otus/articles/1032752/

#SCADA #MES #ERP #семантическая_несогласованность #промышленная_аналитика #семантический_слой #интеграция_данных #качество_данных #временные_ряды #Data_Fabric

Интеграционный хаб в SAP HR — строим гибкость в ритме трансформаций

Как с помощью Clean ABAP и Low-code ускорить выгрузки в 5 раз Привет, Хабр! Меня зовут Дмитрий, я работаю ведущим разработчиком в Lenta tech («Группа Лента»). В этой статье я разберу архитектуру решения, где технические инструменты — наследование классов и абстрактные типы данных — работают на конкретные бизнес-цели. Я поделюсь нашими принципами по созданию гибкого ядра, способного за считанные дни подключать новых потребителей без риска для стабильности системы.

https://habr.com/ru/companies/lentatech/articles/1032614/

#SAP #ABAP #Архитектура_ИТсистем #Импортозамещение #ООП #Интеграция_данных #ретейл #lowcode #ttm #hr_tech

Интеграция систем в российских компаниях: объективный анализ подходов и инструментов

Российский IT 2026: нет универсального выбора интеграций К 2026 году мы окончательно привыкли жить в реальности тотального импортозамещения и раздутых внутренних экосистем. Казалось бы, за это время рынок должен был выработать единый стандарт "как правильно соединять отечественный софт", но на деле зоопарк решений стал только больше. В данном аналитическом обзоре мы рассмотрим различные подходы к интеграции с точки зрения технической целесообразности, без предпочтения конкретных технологий. Разбираемся в деталях

https://habr.com/ru/articles/1012172/

#esb #интеграция #интеграция_систем #интеграция_сервисов #интеграция_данных #корпоративная_шина_данных #шина_данных #брокер

Обзор «Атом.Мост»

На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре продукт «Атом.Мост». С 2024 года я встречаюсь с вендорами и делаю обзоры продуктов, которые относятся к классу ESB (корпоративная шина данных). За это время удалось пообщаться с разработчиками 15 разных решений. Для всех, кто интересуется шинами данных, я также создал сообщество в Телеграме «Шины не для машины» . Это площадка для диалога между российскими разработчиками ESB и компаниями, которым нужна интеграционная шина.

https://habr.com/ru/companies/w_code/articles/1011152/

#esb #шины_данных #корпоративная_шина_данных #атом_мост #росатом #интеграция #интеграция_сервисов #интеграция_систем #интеграция_данных

Advisory locks в PostgreSQL: распределённая блокировка без Redis, которая у вас уже есть

В PostgreSQL есть фича, про которую знают далеко не все, хотя она существует с незапамятных времён. Advisory locks — пользовательские блокировки, которыми управляет не БД, а ваше приложение. PostgreSQL только хранит их состояние и разруливает конкуренцию. А вы решаете, что именно заблокировать и когда отпустить. Зачем это нужно? Вы строите распределённую систему, несколько инстансов приложения работают с одной базой, и вам нужно гарантировать, что определённую операцию выполняет только один инстанс одновременно. Классический ответ — Redis с SETNX или Consul/ZooKeeper. Но если у вас уже есть PostgreSQL — зачем тащить ещё одну зависимость?

https://habr.com/ru/companies/otus/articles/1004230/

#postqresql #хранилище_данных #Data_Vault #архитектура_хранилища_данных #моделирование_данных #DWH #аналитические_системы #интеграция_данных #архитектура_данных

Единый источник правды – это не миф. Но есть нюансы. Опыт построения корпоративного хранилища данных в «Газпром ЦПС»

Привет, Хабр! Меня зовут Андрей Боков, я главный архитектор отдела разработки хранилищ данных в «Газпром ЦПС». Если вы хоть раз сталкивались с тем, что информация о сотрудниках не соответствует в различных корпоративных системах, например, 1С, электронный документооборот, корпоративный портал, система управления проектами, – вы понимаете, о чем сейчас пойдет речь. Мы пробовали решить эту проблему точечными интеграциями, но с ростом числа систем увеличивался и хаос в данных. Нам был нужен единый контур, который позволит проследить путь данных от источников до отчета. Так началась работа над корпоративным хранилищем данных (КХД). Мы выбрали многослойную архитектуру и методологию Data Vault 2.0 – подход, который сохраняет историю изменений и дает возможность подключать новые источники без перепроектирования структур хранилища. В статье я расскажу про наш опыт, который будет полезен специалистам по работе с данными: руководителям, архитекторам, аналитикам и инженерам. Подробно опишу, как мы строили ядро КХД и какие уроки и инсайты вынесли по результатам реализации.

https://habr.com/ru/companies/gazpromcps/articles/979426/

#автоматизация #бизнеспроцессы #управление_данными #хранилище_данных #архитектура_данных #интеграция_данных

Открытый диалог. Практический опыт реализации BIM-проекта в российском ПО

Приглашаем вас принять участие в открытом профессиональном обсуждении практического опыта реализации пилотного проекта с использованием российского программного обеспечения. Тема мероприятия: Стать участником открытого диалога

https://habr.com/ru/companies/nanosoft/articles/973216/

#проектирование #nanocad #инженерия #сапр_системы #cad #программное_обеспечение #интеграция_данных #инженерные_системы #инженерные_практики #моделирование

Чек-лист, который превращает интеграцию из хаоса в процесс

Добрый день, дорогие читатели! Хотела бы поделиться своим накопленным опытом и предложить вам некий универсальный чек-лист или даже в некоторой степени перечень рекомендаций в разрезе активностей и ролей, который поможет вам при интеграции систем, подготовке новых проектов. Желаю вам приятного чтения!

https://habr.com/ru/articles/960234/

#интеграция #интеграция_сервисов #интеграция_систем #интеграция_приложений #интеграция_данных #проектирование_систем #system_design #архитектура #архитектура_приложений #архитектурные_паттерны

Как выбрать интеграционное решение для бизнеса: от «точка–точка» до платформы

Привет, Хабр! На связи Евгений Аверьянов, директор продукта USEBUS AI-Code в ГК «Юзтех». За годы работы в интеграциях я видел, как компании, начиная с небольших стартапов, проходят по всем кругам интеграционного ада — от «велосипедов» и «костылей» до «самопальных» платформ. В этой статье разберёмся, какие бывают подходы к интеграции, где скрываются боли компаний, и почему современному бизнесу важно не изобретать десятиколёсный монстр‑велосипед, а строить прозрачный ИТ‑ландшафт на понятных, масштабируемых и главное централизованно-управляемых решениях. Разбираемся вместе, поехали!

https://habr.com/ru/companies/usetech/articles/938674/

#интеграционная_платформа #интеграция_систем #управление_данными #автоматизация #open_source #интеграция_данных

Как правильно тащить данные в хранилище и не чувствовать боль

Так обычно начинается повесть о созданном в рекордные сроки дашборде. А потом боль и унижение, и никто не хочет брать на себя ответственность, когда упал прод, потому что BI‑аналитик выгружал 90 миллионов строк join’ом без фильтра. А вашему бизнесу всё равно, кто виноват. Данные не пришли, отчёта нет, шеф злой. Пуск

https://habr.com/ru/articles/936360/

#Интеграция_данных #Хранилище_данных #Data_governance #etlпроцессы

SOAR на практике: автоматизация ИБ, интеграция и нестандартные сценарии

Каждое внедрение SOAR в новой компании обнаруживает уникальные особенности и узкие места, связанные с неочевидными нюансами инфраструктуры и бизнес-процессов. Одной из частых проблем является отсутствие у заказчика выстроенных процессов реагирования на инциденты ИБ и большое количество активов в инфраструктуре. Также на текущий момент не у всех компаний сформировано понимание, что SOAR — это не просто отдельный инструмент, а способ объединить все решения в области ИБ и ИТ в единую экосистему, тем самым получая целиком ландшафт инфраструктуры компании для управления, расследования и предотвращения кибератак. Поэтому не все осознают, что для этого требуется корректная подготовка данных, чёткая координация между смежными отделами и грамотное распределение ролей при реагировании на киберинциденты.

https://habr.com/ru/companies/ussc/articles/901652/

#информационная_безопасность #интеграция_данных #автоматизация_процессов #управление_инцидентами #кибератаки #инциденты_иб #реагирование_на_инциденты #настройка_системы #анализ_данных #soar

Почему вашему бизнесу нужна интеграционная платформа: 3 сценария применения

Почему вашему бизнесу нужна интеграционная платформа: 3 сценария применения. Современный бизнес уже не может обходиться одной информационной системой. В арсенале компаний — CRM, 1С, сайт, ERP, складская система и многое другое. Чтобы всё это эффективно взаимодействовало, нужна не просто «набор интеграций», а продуманная архитектура. Решение — интеграционная платформа , которая помогает централизовать и упростить обмен данными между всеми системами.

https://habr.com/ru/articles/898352/

#интеграция #интеграция_систем #интеграция_с_1с #интеграция_данных #интеграция_информационных_систем #системы #системы_хранения_данных #системы_управления #бизнес #бизнеспроцессы

Универсальный классификатор НСИ- правда или фантастика?

Управление НСИ — оптимизация рабочих процессов. Основные задачи НСИ. Прикладные задачи. Классификация номенклатуры. Методы классификации НСИ. Основные критерии.

https://habr.com/ru/articles/862414/

#нормализация_данных #интеграция #интеграция_данных #интеграция_систем #интеграция_с_1с #нси #нси_и_интеграция

Применение систем позиционирования персонала на современных дискретных производствах

Применение систем позиционирования персонала на современных дискретных производствах Система позиционирования персонала – это технологическое решение, позволяющее в режиме реального времени хранить и обрабатывать данные о местоположении сотрудников в пределахзаданной территории. На практике это означает, что для каждого сотрудника, например, Иванова И.И., система способна в любой момент времени определить, сохранить и проанализировать его точное местоположение.

https://habr.com/ru/articles/841508/

#позиционирование #Разработка_и_внедрение_IT_продуктов #управление_персоналом #интеграция_данных #производство #автоматизация #эффективность

Вредные советы по работе с данными. Если вы сломать решили всю отчетность у коллег

Привет, Хабр! Меня зовут Леонид Калядин, я Cluster Data lead в МТС Диджитал, занимаюсь развитием практики Data Governance и Data Quality в 25+ продукта кластера. Мне довелось долго работать в консалтинге и разбираться с проблемами в других системах. Вот смотришь со стороны на ИТ-продукт: все классно и продумано, должно работать как часы. А потом спускаешься на уровень данных и хватаешься за голову: как же допустили такую ошибку? Ее можно было избежать, если задать пару вопросов на стадии проектирования. Зато теперь переделывать все чуть ли не с нуля и ждать возможности вписать изменения в какой-нибудь релиз. Красота! В этом посте я на основе своего и чужого опыта собрал несколько вредных советов, как не надо хранить историю, объединять данные из разных источников и отслеживать их качество. В общем, Если вы сломать решили всю отчетность у коллег, Обязательно зайдите в этой записи под кат!

https://habr.com/ru/companies/ru_mts/articles/841014/

#data_quality #работа_с_данными #итпродукт #вредные_советы #жизненный_цикл_данных #хранение_данных #качество_данных #интеграция_данных

Платформа данных 101: зачем она нужна и как ее построить

Привет, Хабр! Я Максим Еремин, руководитель направления развития PaaS и Big Data в

https://habr.com/ru/companies/beeline_cloud/articles/840598/

#платформа_данных #хранилище_данных #интеграция_данных #etlпроцессы #облачные_платформы #субд #визуализация_данных