#база_дынных — Public Fediverse posts

Сбор сведений из открытых источников: почему это рискованно, если выкачивается информация из чужих баз данных?

Собрать информацию о человеке или продукте с использованием высоких технологий стало делом техники. В прямом и переносном смысле слова. Однако такое выкачивание данных может стать поводом для судебного разбирательства. Почему это происходит — далее в материале.

https://habr.com/ru/companies/onlinepatent/articles/1034644/

#базы_данных #база_дынных #парсинг #парсинг_контента #парсинг_сайтов #парсинг_сайта #парсинг_данных #защита_данных #защита_данных_пользователей #законодательство

Сбор сведений из открытых источников: почему это рискованно, если выкачивается информация из чужих баз данных?

Собрать информацию о человеке или продукте с использованием высоких технологий стало делом техники. В прямом и переносном смысле слова. Однако такое выкачивание данных может стать поводом для судебного разбирательства. Почему это происходит — далее в материале.

https://habr.com/ru/companies/onlinepatent/articles/1034644/

#базы_данных #база_дынных #парсинг #парсинг_контента #парсинг_сайтов #парсинг_сайта #парсинг_данных #защита_данных #защита_данных_пользователей #законодательство

Сбор сведений из открытых источников: почему это рискованно, если выкачивается информация из чужих баз данных?

Собрать информацию о человеке или продукте с использованием высоких технологий стало делом техники. В прямом и переносном смысле слова. Однако такое выкачивание данных может стать поводом для судебного разбирательства. Почему это происходит — далее в материале.

https://habr.com/ru/companies/onlinepatent/articles/1034644/

#базы_данных #база_дынных #парсинг #парсинг_контента #парсинг_сайтов #парсинг_сайта #парсинг_данных #защита_данных #защита_данных_пользователей #законодательство

Сбор сведений из открытых источников: почему это рискованно, если выкачивается информация из чужих баз данных?

Собрать информацию о человеке или продукте с использованием высоких технологий стало делом техники. В прямом и переносном смысле слова. Однако такое выкачивание данных может стать поводом для судебного разбирательства. Почему это происходит — далее в материале.

https://habr.com/ru/companies/onlinepatent/articles/1034644/

#базы_данных #база_дынных #парсинг #парсинг_контента #парсинг_сайтов #парсинг_сайта #парсинг_данных #защита_данных #защита_данных_пользователей #законодательство

CPU 80%. Как найти проблемный запрос в ClickHouse?

Clickhouse. CPU под нагрузкой, память на пределе, диск нагружен. Запросы тормозят. Расчёты не завершаются. Сервер на грани. Что же делать?

https://habr.com/ru/articles/1015986/

#clickhouse #база_дынных #оптимизация #data_engineering

CPU 80%. Как найти проблемный запрос в ClickHouse?

Clickhouse. CPU под нагрузкой, память на пределе, диск нагружен. Запросы тормозят. Расчёты не завершаются. Сервер на грани. Что же делать?

https://habr.com/ru/articles/1015986/

#clickhouse #база_дынных #оптимизация #data_engineering

CPU 80%. Как найти проблемный запрос в ClickHouse?

Clickhouse. CPU под нагрузкой, память на пределе, диск нагружен. Запросы тормозят. Расчёты не завершаются. Сервер на грани. Что же делать?

https://habr.com/ru/articles/1015986/

#clickhouse #база_дынных #оптимизация #data_engineering

CPU 80%. Как найти проблемный запрос в ClickHouse?

Clickhouse. CPU под нагрузкой, память на пределе, диск нагружен. Запросы тормозят. Расчёты не завершаются. Сервер на грани. Что же делать?

https://habr.com/ru/articles/1015986/

#clickhouse #база_дынных #оптимизация #data_engineering

Разбираемся с нормальными формами баз данных

Привет Хабр! В прошлой статье мы детально разобрали функциональные зависимости. Возможно, после нее у вас, как и у многих, остался закономерный вопрос: зачем нам вообще так париться, выискивая эти зависимости? Как это применяется в проектировании баз данных? Естественно, можно спроектировать базу данных, вообще не заботясь ни о каких правилах. И она даже будет работать! Все будет прекрасно ровно до первого ее реального использования в продакшене. При проектировании «абы-как» возникают три типовые проблемы: избыточность, аномалии обновления, аномалии удаления. И вот это уже плохо.

https://habr.com/ru/companies/selectel/articles/1010492/

#sql #база_дынных #базы_данных #нормальные_формы #нормализация_отношений #NF #функциональная_зависимость #реляционные_субд #реляционные_базы_данных #реляционные_бд

Как мы обслуживаем 5 млрд карточек в сутки с задержкой меньше 1 мс

Меня зовут Ескендиров Мурат, я — архитектор сайта в Ви.Tech, IT-дочке ВсеИнструменты.ру. В этой статье расскажу, как мы строили сервис для выдачи карточек товаров, обрабатывающий до 5 миллиардов запросов в сутки, какие архитектурные решения приняли и с какими проблемами столкнулись в процессе. Расскажу, какие решения сработали, а какие до сих пор остаются нашей головной болью. Сайт «ВсеИнструменты» имеет почти 20-летнюю историю, и, как это часто бывает, за это время он превратился из маленького сайта с парой сотен товаров на PHP, созданного «на коленке», в гигантский монолит с несколькими миллионами уникальных номенклатур. Несколько лет назад перед сайтом встали в полный рост проблемы, характерные для многих компаний, выросших из «подпартного» стартапа (первый свой заказ компания «ВсеИнструменты.ру» получила во время лекции в МФТИ, тогда один из основателей для его оформления залез под парту) в многомиллиардную корпорацию:

https://habr.com/ru/articles/942274/

#go #кеширование #redis #высоконагруженные_системы #архитектура #инвалидация_кеша #асинхронность #ecommerce #производительность #база_дынных

Обходим подводные камни работы с UDA в коде на Lua для ScyllaDB: дружим Java-драйвер и пустые значения

Привет, Хабр! Мое имя Александр Коваль, я разработчик IoT-сервисов в МТС Web Services. Сейчас ScyllaDB поддерживает ограниченное количество функций, в том числе агрегационных. В стандартном наборе: min, max, count, avg. Но ее функциональность расширяется двумя типами пользовательских функций : скалярными (scalar functions) и агрегационными (aggregate functions). Первые работают со значениями одной строки, а вторые — нескольких. Реализовать такие функции можно на Lua или Rust. В процессе работы с агрегационными функциями можно столкнуться с тем, что ScyllaDB и Java-драйвер по-разному обрабатывают пустые значения. В этом посте я расскажу, как это можно решить относительно просто и без сложных дополнительных телодвижений. Для примера возьму код на Lua и покажу, как он реализуется в виде функции ScyllaDB. Дисклеймер: этот материал написан на основе личного опыта — все решения получены методом проб и ошибок. Конструктивные предложения и советы по их улучшению приветствуется. Код с примерами и ссылки на ресурсы можно найти у меня в репозитории GitHub .

https://habr.com/ru/companies/ru_mts/articles/902544/

#scylladb #java #function #driver #база_дынных #uda #Драйвер_Java_Data_Base_Connectivity #Агрегационные_функции #базы_данных #обработка_данных

Раскрыто дело о тайных пациентах медицинских компаний

Медицинские компании, помимо приёма пациентов, должны качественно и безопасно хранить все данные, связанные с лечением, осмотрами и процедурами. От этого зависит не только имидж, но и лицензия организации.

https://habr.com/ru/articles/868290/

#пациенты #профиль_пользователя #клиника #база_дынных #монолит #архитектура_по #архитектура_системы #маркетинговая_стратегия #маркетинговый_анализ #рекламная_кампания

Как мы доработали postgres_exporter для мониторинга событий в БД

Привет, Хабр! Меня зовут Станислав Епишин, я DBA в дивизионе поддержки решений в тестовых средах в СберТехе. Эту статью я написал вместе с Дмитрием Корневым, тимлидом и DBA. У Сбера есть целевая СУБД, которую разработали в СберТехе на основе open source версии PostgreSQL, — Platform V Pangolin. Наша команда перешла на Pangolin в числе первых, когда у продукта еще не было инструментов для мониторинга БД. Забегая вперед, позже появились такие решения — графическая консоль Platform V Kintsugi, расширение для сбора статистики — Performance Insights и система мониторинга IT‑инфраструктуры Platform V Monitor. А поначалу мы решили мониторить базы данных связкой Grafana, Prometheus и postgres_exporter. Но, во‑первых, столкнулись, с тем, что нам не хватает гибкости в использовании queries.yaml в postgres exporter. А, во‑вторых, так мы не могли регистрировать события с таймаутом меньше 15 секунд. Поэтому мы тогда сделали свой инструмент для мониторинга — pangolin_exporter . Надеюсь, что эта статья будет полезна тем, кто мониторит инфраструктуру с помощью postgres_exporter и хочет кастомизировать все под свои нужды. Покажу детали и код решения.

https://habr.com/ru/companies/sberbank/articles/845616/

#сбер #субд #мониторинг #база_дынных #базы_данных #postgres_exporter #pangolin

Создание меню/кнопок в pyTelegramBotAPI на основе SQL запроса

В данной статье планирую поделиться с вами своей наработкой, которая позволяет создавать меню и кнопки вашего Telegram бота на основе данных хранящихся в БД. Реализовывать все это будем на Python и нам потребуются библиотеки.

https://habr.com/ru/articles/832342/

#pytelegrambotapi #sqlite3 #python #telegram #inlinekeyboard #inlinekeyboardmarkup #кнопки #меню #база_дынных

Создание меню/кнопок в pyTelegramBotAPI на основе SQL запроса

В данной статье планирую поделиться с вами своей наработкой, которая позволяет создавать меню и кнопки вашего Telegram бота на основе данных хранящихся в БД. Реализовывать все это будем на Python и нам потребуются библиотеки.

https://habr.com/ru/articles/832342/

#pytelegrambotapi #sqlite3 #python #telegram #inlinekeyboard #inlinekeyboardmarkup #кнопки #меню #база_дынных

Создание меню/кнопок в pyTelegramBotAPI на основе SQL запроса

В данной статье планирую поделиться с вами своей наработкой, которая позволяет создавать меню и кнопки вашего Telegram бота на основе данных хранящихся в БД. Реализовывать все это будем на Python и нам потребуются библиотеки.

https://habr.com/ru/articles/832342/

#pytelegrambotapi #sqlite3 #python #telegram #inlinekeyboard #inlinekeyboardmarkup #кнопки #меню #база_дынных

Качество данных и роботы: как мы высвободили 5 рабочих часов в день сотрудника DQ

Привет, меня зовут Катя Моисеева, я руководитель направления качества данных в Data Office Tele2. Мы уже рассказывали о том, как с нуля строили процессы качества данных на различных площадках (выступления можно посмотреть по ссылке). Сейчас для нас остро встал вопрос о ресурсах нашей команды, а точнее их «резиновости» - поток входящих инцидентов растет по мере подключения новых систем к проверкам качества, а команда остается в составе 3 сотрудников. Возникает вопрос – а какая она, идеальная команда качества данных, которая сможет создать процессы с нуля, внедрить и привить культуру внутренним заказчикам, свести к минимуму риски возникновения инцидентов, а еще минимизировать затраты компании? Под катом поделились своим опытом борьбы с хаосом из потока входящих задач и запросов от бизнеса и о маленьком роботе-спасителе, который экономит нам ежедневно 5 часов сотрудника DQ и внедрить которого по силам каждому.

https://habr.com/ru/companies/tele2/articles/820991/

#качество_данных #качество_данных_(data_quality) #управление_данными #хранилище_данных #база_дынных #инцидентменеджмент #контроль_качества #автоматизация #скрипт #dq

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 3

Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта в своей области. Во второй части статьи «Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL» мы говорили о гарантии согласованности данных и разрешение конфликтов. Разобрали как выявлять и разрешать конфликты, используя разные способы. Теперь пришла пора одной из самых важных характеристик хранения данных — надёжности.

https://habr.com/ru/companies/postgrespro/articles/793158/

#postgresql #postgres_pro #база_дынных #мультимастер #надежность #ускорение #primary_key #виртуальная_машины #репликация

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 3

Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта в своей области. Во второй части статьи «Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL» мы говорили о гарантии согласованности данных и разрешение конфликтов. Разобрали как выявлять и разрешать конфликты, используя разные способы. Теперь пришла пора одной из самых важных характеристик хранения данных — надёжности.

https://habr.com/ru/companies/postgrespro/articles/793158/

#postgresql #postgres_pro #база_дынных #мультимастер #надежность #ускорение #primary_key #виртуальная_машины #репликация

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 2

Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта в своей области. В первой части статьи «Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL» мы посмотрели как развивалась технология «Мультимастер» в экосистеме PostgreSQL. Обсудили существует ли «Честный Мультимастер», какие у него реализации и как его следует применять. Теперь поговорим о надёжности хранения данных.

https://habr.com/ru/companies/postgrespro/articles/793156/

#postgresql #postgres_pro #база_дынных #мультимастер #надежность #crdt #репликация #разрешение_конфликтов #silent_data_corruption #устойчивость_к_сбоям

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 2

Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта в своей области. В первой части статьи «Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL» мы посмотрели как развивалась технология «Мультимастер» в экосистеме PostgreSQL. Обсудили существует ли «Честный Мультимастер», какие у него реализации и как его следует применять. Теперь поговорим о надёжности хранения данных.

https://habr.com/ru/companies/postgrespro/articles/793156/

#postgresql #postgres_pro #база_дынных #мультимастер #надежность #crdt #репликация #разрешение_конфликтов #silent_data_corruption #устойчивость_к_сбоям

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 1

Привет, Хабр! Недавно мы делали доклад на конференции HighLoad 2023 — «Мифы и реалии Мультимастера в архитектуре СУБД PostgreSQL». Мы — это Павел Конотопов (@kakoka) и Михаил Жилин (@mizhka), сотрудники компании Postgres Professional . Павел занимается архитектурой построения отказоустойчивых кластеров, а Михаил — анализом производительности СУБД. У каждого за плечами более десяти лет опыта в своей области. Порассуждаем о том, как развивалась технология «Мультимастер» в экосистеме PostgreSQL, остановимся на том, что она из себя представляет, на каких внутренних механизмах PostgreSQL основана и как её можно использовать. Мы также поговорим о том, существует ли «Честный Мультимастер» (само понятие «Честный Мультимастер» достаточно специфично и в основном употребляется в кругу разработчиков), какие реализации у него есть и как его следует применять.

https://habr.com/ru/companies/postgrespro/articles/793068/

#postgresql #postgres_pro #база_дынных #мультимастер #репликация #availability #fault_tolerance #conflict_resolution #strong_consistency #tractor

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 1

Привет, Хабр! Недавно мы делали доклад на конференции HighLoad 2023 — «Мифы и реалии Мультимастера в архитектуре СУБД PostgreSQL». Мы — это Павел Конотопов (@kakoka) и Михаил Жилин (@mizhka), сотрудники компании Postgres Professional . Павел занимается архитектурой построения отказоустойчивых кластеров, а Михаил — анализом производительности СУБД. У каждого за плечами более десяти лет опыта в своей области. Порассуждаем о том, как развивалась технология «Мультимастер» в экосистеме PostgreSQL, остановимся на том, что она из себя представляет, на каких внутренних механизмах PostgreSQL основана и как её можно использовать. Мы также поговорим о том, существует ли «Честный Мультимастер» (само понятие «Честный Мультимастер» достаточно специфично и в основном употребляется в кругу разработчиков), какие реализации у него есть и как его следует применять.

https://habr.com/ru/companies/postgrespro/articles/793068/

#postgresql #postgres_pro #база_дынных #мультимастер #репликация #availability #fault_tolerance #conflict_resolution #strong_consistency #tractor

Шардирование: с нуля до Яндекс Диска

Меня зовут Андрей Колнооченко. Я отвечаю за ядро файловой системы Яндекс Диска. Когда мы запускали сервис, то сразу ориентировались на рост и приняли решение шардировать базу метаданных о файлах. Но за 11 лет Яндекс Диск настолько вырос, что нам пришлось трижды менять подход к шардированию. В статье расскажу, с какими проблемами мы сталкивались по мере роста сервиса и как от MongoDB пришли в итоге к PostgreSQL. Эта статья будет полезна, если вы планируете распределить нагрузку на вашу БД или вам просто интересен опыт развития БД для обработки большого числа запросов.

https://habr.com/ru/companies/oleg-bunin/articles/791018/

#шардирование #база_дынных #субд #mongodb #postgresql #яндекс_диск #Common_DB #System_DB #Data_DB #Reqbouncer

Шардирование: с нуля до Яндекс Диска

Меня зовут Андрей Колнооченко. Я отвечаю за ядро файловой системы Яндекс Диска. Когда мы запускали сервис, то сразу ориентировались на рост и приняли решение шардировать базу метаданных о файлах. Но за 11 лет Яндекс Диск настолько вырос, что нам пришлось трижды менять подход к шардированию. В статье расскажу, с какими проблемами мы сталкивались по мере роста сервиса и как от MongoDB пришли в итоге к PostgreSQL. Эта статья будет полезна, если вы планируете распределить нагрузку на вашу БД или вам просто интересен опыт развития БД для обработки большого числа запросов.

https://habr.com/ru/companies/oleg-bunin/articles/791018/

#шардирование #база_дынных #субд #mongodb #postgresql #яндекс_диск #Common_DB #System_DB #Data_DB #Reqbouncer