#бд — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #бд, aggregated by home.social.
-
853 команды ИИ‑агенту за 16 дней. Защита сработала один раз
Я поставил перед агентом перехватчик разрушительных команд и шестнадцать дней писал в журнал всё, что агент делал. Хотел получить красивую статистику предотвращённых катастроф. Получил единицу. Дальше — что было в журнале и почему единица оказалась интереснее, чем то, на что я рассчитывал.
https://habr.com/ru/articles/1074810/
#aiагенты #бд #базы_данных #бд_mysql #бд_в_облаке #защита_ииагентов #безопасность_ии
-
Генерация тестовых данных с ИИ: руководство для ручного тестировщика
Всем привет! Я продолжаю цикл статей про применение ИИ в тестировании. Мы уже разобрали shift-left: контекст , тестирование требований , генерацию тестовой документации , автотесты и оптимизацию тестовой модели . Но даже когда кейсы написаны, а автотесты готовы, остаётся задача, на которую может уходить довольно много времени — это подготовка тестовых данных для ручного тестирования.
https://habr.com/ru/companies/rgs_it/articles/1061318/
#ии #ai #искусственный_интеллект #тестирование #тестовые_данные #postman #бд
-
Ещё раз о статистике (где живёт статистика Oracle)
Эта статья предназначена для технических специалистов, работающих с Oracle: администраторов баз данных, инженеров производительности, разработчиков инструментов мониторинга и исследователей внутренних механизмов СУБД. Это готовый пример низкоуровневого исследования, который можно адаптировать под собственные задачи. Мы покажем, как связать привычные SQL‑данные из v$sesstat с их реальным расположением в памяти процесса, и на конкретном примере проиллюстрируем методику, применимую и к другим внутренним структурам Oracle. Это первая статья из серии, она посвящена Oracle 11g, довольно древней версии Oracle, далее мы увидим как изменялся подход корпорации Oracle к хранению внутренних структур статистики.
https://habr.com/ru/companies/gnivc/articles/1062792/
#gdb #internals #lowlevel #oracle_11g #oracle #базы_данных #бд #database #субд
-
MySQL ⇄ Excel. Консольный скрипт конвертации данных
В сети до сих пор висят мануалы из 2013, где предлагают писать громоздкие скрипты на PHP с библиотекой PHPExcel или использовать встроенный импорт через веб-интерфейс phpMyAdmin. На практике эти методы спотыкаются на первой же тысяче строк: слетают кодировки, ломаются форматы дат, а дробные числа округляются до целых. При взаимодействии разработки с менеджментом или бухгалтерией регулярно всплывает одна и та же задача. Нужно либо выгрузить таблицу из базы в Эксель для отчёта, либо, наоборот, залить обратно в СУБД тяжелый xlsx. файл со свежими ценами или списком контрагентов. Настраивать тяжелые ETL-системы ради разовой выгрузки неэффективно. Проблема решилась написанием короткого CLI-скрипта на Python - mysql_bridge . Утилита обеспечивает сквозную двустороннюю конвертацию данных, автоматически анализирует структуру и сохраняет исходные типы на лету. Исходный код скрипта и Readme Здесь . Если Вас заинтересовала или статья была полезна, поддержите звездочками. Как устроен двусторонний мост Вся логика инструмента умещается за счёт связки pandas , sqlalchemy и движка openpyxl . Скрипт работает с файлами Эксель напрямую на уровне бинарного кода, поэтому его можно запускать на серверах без установленного офисного софта. Утилита работает в двух режимах.
-
mysql_guard — open source инструмент для автоматического поиска скрытых ошибок в архитектуре баз данных MySQL
Выискивать архитектурные несоответствия вручную при проверке чужих проектов неэффективно. Проблема решилась написанием легковесного скрипта автоматизации на Python.Утилита работает на чистом SQL, подключается к живой бд и мгновенно вытаскивает наружу скрытые дефекты проектирования.
-
Разбираемся с устройством баз данных
При разработке практически любого программного продукта очень скоро возникает потребность в хранении данных. Для этого используют специальные сервисы — СУБД (система управления базами данных) Сегодня залезем внутрь и разберёмся, как они работают
-
Скрытая цена JSONB в PostgreSQL: что происходит при обновлении больших документов
jsonb легко полюбить. Он даёт гибкую схему, позволяет не плодить десятки мелких колонок, хорошо подходит для полуструктурированных данных и обычно очень удобен на старте проекта. Пока документы маленькие и меняются редко, кажется, что всё отлично. Проблемы начинаются позже. Данные растут, в документ добавляются новые поля, часть из них начинает часто обновляться, а потом внезапно выясняется, что вроде бы безобидный UPDATE одного ключа внутри jsonb стоит заметно дороже, чем ожидалось. В этой статье мы не собираемся доказывать, что jsonb плохой тип данных. Наоборот: jsonb – один из самых полезных инструментов PostgreSQL. Хотелось бы разобраться в более узком вопросе: что именно происходит, когда мы обновляем один ключ внутри большого JSONB-документа, и чем это отличается от обновления обычной колонки рядом с таким же большим документом?
-
Ускоряем вставку данных в PostgreSQL
Это текстовая версия доклада с Java Rock Star Meetup, с которым выступал Дмитрий Фатов ( @FatOFF ) — руководитель разработки Газпромбанка с опытом разработки приложений более 13 лет. Дмитрий работал как backend-, так и fullstack-разработчиком на языках Java, Kotlin, JS, TS, 1С и имеет большой опыт работы с SQL-базами данных.
https://habr.com/ru/companies/axiomjdk/articles/1010606/
#java #kotlin #postgresql #postgres #бд #базы_данных #insert #вставка #ускорение #атомарность
-
LWLock:LockManager, fastpath и всё-всё-всё
Общеизвестным является тезис о том, что от избыточного индексирования страдают только DML-операции, а SELECTы только получают разнообразные бенефиты. Однако существуют определённые нюансы, которые могут разрушить данную стройную картину мира. Я попробую продемонстрировать возможную проблему на тестовом примере (кстати, почти аналогичная проблема наблюдалась в реальной ПРОМ-системе).
https://habr.com/ru/companies/gnivc/articles/993938/
#postgresql #postgres #lwlock #производительность #базы_данных #data_bases #data_base #бд
-
Как написать прикольную книгу про SQL, которую интересно читать?
Есть довольно устойчивый миф: SQL — это что-то скучное, сложное и строгое. Обычно знакомство выглядит так: несколько глав теории, а потом сразу синтаксис запросов , строки, таблицы, и дальше человек либо втягивается, либо закрывает книгу и возвращается к ней через пару лет — уже по необходимости. Когда мы в «БХВ» обсуждали новую книгу по SQL, разговор неожиданно ушёл не в сторону синтаксиса, а в сторону обучения. Точнее — в сторону того, почему так много людей бросают изучение SQL на середине. И наш постоянный и горячо любимый читателями автор Ольга Назина, известная своими бестселлерами по тестированию, предложила: а давайте сделаем прикольную книгу, с шутками, забавными картинками и простыми примерами, чтобы читать ее было интересно? Мы согласились: а давайте!
https://habr.com/ru/companies/bhv_publishing/articles/993124/
-
Lakehouse vs Data Warehouse в 2026: что выбирать DE-команде
Привет, Хабр! Выбор между lakehouse и классическим хранилищем остается проблемой не первый год, но к 2026-му накопилось достаточно опыта, чтобы говорить предметно. Разберём, как эти архитектуры устроены под капотом, где каждая реально сильна и почему универсального ответа до сих пор нет. Сравнить подходы
https://habr.com/ru/companies/otus/articles/991128/
#БД #lakehouse #data_warehouse #Spark #объектное_хранилище #витрины_данных
-
Oracle — приблизительное разбиение на диапазоны
Недавно у меня возникла задача по разбиению мульти-терабайтной таблицы на равные диапазоны по числовому полю id. Причём данные распределены по id крайне неравномерно, где-то есть большие "лакуны", где-то непоследовательная генерация и т.д., и т.п. Конечно, можно применить честное решение в лоб — использовать функцию NTILE, но я довольно быстро осознал, что это приведёт к многочасовому запросу с большой вероятностью упасть из-за недостатка TEMP. Но, к счастью, зачастую в таких задачах, как и в моём случае, идеальное разделение на диапазоны не требуется, достаточно более-менее приличного. Я решил провернуть небольшой трюк для получения приблизительного разделения. Давайте посмотрим, что у меня получилось на модельном примере.
-
Patroni и логическая реплика в PostgreSQL: как не потерять данные при failover’е
Если вы используете nofailover: true (а многие так и делают), Patroni не синхронизирует слоты логической репликации — и при переходе на реплику часть данных может исчезнуть навсегда. Рассказываем, почему и как фиксить.
https://habr.com/ru/companies/flant/articles/978322/
#patroni #postgresql #sql #бд #failover #репликация #асинхронная_репликация #логическая_репликация #nofailover #потеря_данных
-
[Перевод] Как отследить трафик PostgreSQL
Недавно я изучал детали реализации взаимодействия клиента PostgreSQL с базой данных и был удивлён, насколько легко просматривать трафик PostgreSQL с помощью wireshark. Когда я поделился своим удивлением в социальной сети, меня попросили привести пример того, как это сделать.
https://habr.com/ru/companies/gnivc/articles/962184/
#wireshark #sniffer #psql #protocol #бд #базы_данных #постгрес #sql
-
О «залипании» процесса checkpoint и archive_timeout в Postgres
Добрый день, коллеги! Недавно мы столкнулись со следующей проблемой при тестировании СУБД PostgresPro под высокой нагрузкой: процесс представлял собой массированную многопоточную заливку данных на протяжении многих часов,а данных было около 20 ТБ, потоков — 75. В процессе загрузки наблюдалось следующее явление: через некоторое время процесс checkpointer переставал делать контрольные точки в зависимости от других параметров БД либо сразу, либо через 2-3 часа.
https://habr.com/ru/companies/gnivc/articles/945742/
#postgresql #lwlock #checkpoint #troubleshooting #sql #бд #базы_данных #постгрес
-
Генерация тестовых данных на Python: руководство по библиотеке Faker
Привет, Хабр! Думаю, многие сталкивались с необходимостью генерации тысячи пользователей. Вручную - не вариант, слишком долго. В данной статье разберу библиотеку Faker. Это генератор реалистичных тестовых данных, который превращает заполнение базы и создание демо-контента из рутины в дело пары строк кода. В статье продемонстрирую, как генерировать тысячи правдоподобных записей на русском, заполнять БД и создавать собственные типы данных для ваших проектов.
https://habr.com/ru/articles/940056/
#Python #Faker #генерация_данных #тестирование #автоматизация #скрипт #библиотека_python #библиотека #база_данных #бд
-
Рефакторинг скриптов liquibase
Неважно почему, но иногда может появиться желание заняться рефакторингом ваших скриптов liquibase. В моём случае постоянно возникали конфликты в общем файле журнала изменений, количество скриптов превратилось в ужасно длинный список, а в самих скриптах невозможно было ориентироваться, поскольку они содержали по 1–2 команды, а в названии файла были только дата и действие. Долго это терпел, долго взвешивал плюсы и минусы, и всё время боролся с желанием всё отрефачить. И в какой-то момент дошёл до точки, когда желание взяло верх. Решение принято: рефакторингу быть! Сразу скажу, приступать было страшно, но сейчас я очень доволен результатом. «Идеальную» структуру мы не получили, пришлось идти на компромиссы и заплатить свою цену, зато в новой структуре удалось вылечить все проблемы. Теперь в ней удобно ориентироваться и читать код, конфликты создаются очень редко, а все скрипты автоматически детектируются liquibase-ом. Но только это конец истории. А вначале было вообще непонятно, как рефакторить журнал изменений, да так, чтобы в существующие базы данных он смог пролиться, и ничего не поломал при этом! Приступаем к рефакторингу
-
Неочевидный нюанс при изменении пространства имён моделей в Laravel
На работе поступила очередная задача: разобраться и устранить странную проблему в работе давно и надёжно работающего сервиса. Проблема заключалась в том, что часть объектов двух видов перестала работать. Причём именно часть объектов. Сам сервис написан на PHP с использованием фреймворка Laravel и служит для общения с внешней системой. Поскольку есть внешняя система, то в первую очередь проверил её. Но с ней всё было в порядке. Данные уходили и приходили. И в БД сервиса всё заносилось как надо. Но при обращении к ресурсам определённых объектов по API не возвращалась часть полей, которые хранятся в связанной таблице, связь типа полиморфное отношение «один-к-одному» («MorphOne»).
-
Выбираем базу данных правильно! Чек-лист на все случаи жизни
Выбор базы данных — это как выбор инструмента: молотком не закручивают шурупы, а гаечным ключом не забивают гвозди. Чтобы не ошибиться, давайте разберёмся, какие бывают базы данных, чем они отличаются и когда их стоит использовать.
https://habr.com/ru/articles/926402/
#базы_данных #выбрать #Выбор_БД #БД #system_design #проектирование_баз_данных #Какую #чеклист #хранилище #хранение_данных
-
Борьба с BIM-коллизиями в инженерных системах или история про создание плагина
Привет, друзья и коллеги по инженерному делу и проектированию! Меня зовут Сергей Погорельский, и я работаю в компании КРОК в качестве эксперта по автоматизации инженерных систем. Работаю с BIM-технологиями 6 лет и недавно защитил диссертацию на эту тему. В этой статье я расскажу вам о том, как мы пришли к разработке собственного плагина по работе с коллизиями и как научились их побеждать в десятки раз быстрее, чем раньше.
https://habr.com/ru/companies/croc/articles/901010/
#BIMколлизии #navisworks #revit #3d #c# #TBD_Clash #бд #базы_данных #плагин #проектирование
-
UUIDv7 — ключ к глобальному поиску с помощью LLM в произвольных внешних системах
Представим себе такой сценарий. Пользователь устно и/или в чате поручает ИИ-агенту найти и приобрести нужный товар с заданными параметрами. ИИ-агент в разговоре уточняет у пользователя задание, составляет описание товара и на его основе формирует запрос к поисковой системе... а затем ищет товар в базах данных поставщиков. Как это реализовать
https://habr.com/ru/articles/893536/
#LLM #UUIDv7 #ииагент #RAG #MCP #бд #schemaorg #ключ #сниппет
-
Опыт разработки на доработанном pgTap
В этой статье я поделюсь своим опытом разработки юнит-тестов внутри базы данных под управлением PostgreSQL. А также расскажу, зачем мне потребовалось доработать расширение pgTap. pgTap – это расширение PostgreSQL для разработки юнит-тестов. Сами тесты, как, собственно, и pgTap, пишутся на plpgSQL, что означает низкий порог вхождения для разработчиков PG. Уверен, что читатель, по крайней мере, знаком с техникой разработки через тесты. Поэтому не буду пускаться в описание теории юнит-тестирования. Благо литературы на эту тему более чем достаточно. Тем не менее, чтобы быть понятым, приведу некоторые детали ниже.
https://habr.com/ru/companies/gnivc/articles/877314/
#unittesting #plpgsql #sql #pgtap #бд #базы_данных #postgresql
-
Какие тренды в технологиях нас ждут в 2025 году
Мобильная разработка продолжает активно развиваться по разным направлениям. Попробую выбрать несколько основных трендов развития в 2025 году: 1) ИИ C выпуска Chat GPT осенью 2022 года и появления его аналогов у Yandex, Google и других компаний мы переживаем настоящий бум различных LLM. Спектр их использования довольно широк: ассистенты в чатах, помощники-анализаторы, генераторы контента и так далее. Весной 2024 года Google представили ИИ-помощников, интегрированных как в саму ОС Android, так и в инструменты разработки Android Studio, а также SDK для подключения ИИ-помощников уже в своё собственное приложение. Примерно в то же время Apple объявили о создании своего ИИ-помощника на базе моделей OpenAI. Из-за разных ограничений, решения доступны не все пользователям, что делает крайне актуальной разработку аналогов (чем и занимается, в частности, Сбер). Также актуальным будет создание и обучение собственных ИИ-ассистентов на базе открытых LLM (например, известная и популярная Meta-LLama), чем уже заняты крупные компании. 2) Кросс-платформенная разработка Не секрет, что компания Google, разрабатывающая Flutter, в 2024 году сделала открыто ставку и на Kotlin Multiplatform, объявив совместимость с данной технологией одним из своих приоритетов. В этом году они активно занимались переводом Jetpack библиотек для разработки современного приложения Android и на кросс-платформу. Flutter также не сдаёт свои позиции и всё больше завоёвывает популярность во многих компаниях. Это хорошее решение для ускоренной разработки ряда клиентских приложений. Также он становится инструментом для удобного создания приложений под ОС Aurora.i
-
Какие тренды в технологиях нас ждут в 2025 году
Мобильная разработка продолжает активно развиваться по разным направлениям. Попробую выбрать несколько основных трендов развития в 2025 году: 1) ИИ C выпуска Chat GPT осенью 2022 года и появления его аналогов у Yandex, Google и других компаний мы переживаем настоящий бум различных LLM. Спектр их использования довольно широк: ассистенты в чатах, помощники-анализаторы, генераторы контента и так далее. Весной 2024 года Google представили ИИ-помощников, интегрированных как в саму ОС Android, так и в инструменты разработки Android Studio, а также SDK для подключения ИИ-помощников уже в своё собственное приложение. Примерно в то же время Apple объявили о создании своего ИИ-помощника на базе моделей OpenAI. Из-за разных ограничений, решения доступны не все пользователям, что делает крайне актуальной разработку аналогов (чем и занимается, в частности, Сбер). Также актуальным будет создание и обучение собственных ИИ-ассистентов на базе открытых LLM (например, известная и популярная Meta-LLama), чем уже заняты крупные компании. 2) Кросс-платформенная разработка Не секрет, что компания Google, разрабатывающая Flutter, в 2024 году сделала открыто ставку и на Kotlin Multiplatform, объявив совместимость с данной технологией одним из своих приоритетов. В этом году они активно занимались переводом Jetpack библиотек для разработки современного приложения Android и на кросс-платформу. Flutter также не сдаёт свои позиции и всё больше завоёвывает популярность во многих компаниях. Это хорошее решение для ускоренной разработки ряда клиентских приложений. Также он становится инструментом для удобного создания приложений под ОС Aurora.i
-
Как создать дамп базы данных MySQL
MySQL — это наиболее популярная система управления реляционными базами данных выполняющая множество разнородных манипуляций с таблицами: добавление, удаление, поиск, сортировка и вывод по запросу пользователя. Важно понимать, что MySQL, подобно библиотекарю в библиотеке, управляет БД, а не является ею. Поэтому MySQL и база данных отделены друг от друга.
https://habr.com/ru/companies/timeweb/articles/861534/
#timeweb_статьи #mysql #бд #adminer #сервер #GTID #SQL #phpMyAdmin #json
-
Уровни изоляции транзакций в PostgreSQL, MySQL, MSQL, Oracle с примерами на Go
В данной статье обсудим проблемы, возникающие при конкурентной работе с данными, а также инструменты для их решения – атомарные инструкции, явные и неявные блокировки и уровни изолированности транзакций, реализованные в OLTP СУБД PostgreSQL, MySQL, SQL Server, Oracle с примерами на Go. Поговорим о деталях их реализации в указанных СУБД. На примере PostgreSQL проведем benchmark-тестирование производительности уровней изоляции с использованием инструмента pgbench
https://habr.com/ru/articles/857486/
#isolation_levels #transactions #postgresql #mysql #acid #транзакция #уровни_изоляции #уровни_изоляции_бд #бд #atomicity
-
Как упорядочить данные в базе сайта, у которого пять личных кабинетов
Привет, Хабр! Меня зовут Миша Шлыков, я менеджер проектов в диджитал-продакшене Далее . Уже два года мы вместе с «Национальными приоритетами» развиваем сайт наука.рф. За это время 30 миллионов человек поучаствовали в проектах Десятилетия науки, а делают его простые люди со всей России. В статье рассказываю о том, как проект добавил +100 к пониманию пользователей с низкой компьютерной грамотностью.
-
Сайзинг многоуровневого КХД (ч.1 Что сайзим)
Приветствую, ищущий методики и подхода, Гость! Мой многолетний опыт работы в части проектирования и реализации КХД с использованием продуктов иностранных Вендоров, всегда был сопряжен с использованием их обширной инфраструктуры и наработок обеспечивающих и помогающих выполнять вспомогательные задачи быстро и условно качественно. Одной из таких задач всегда являлось выполнение сайзинга разрабатываемого КХД. Вы можете задаться вопросом: " Почему "условно качественно" ? - ответ тут прозаичен и банален: "Инструменты сайзинга не могут однозначно ответить на вопрос, какие характеристики заложить и как посчитать сайзинг КХД до того, как полностью сформировано ТЗ и не расставлены все точки над Ё...", ну и конечно, никакой инструмент не в силах справиться с изменениями требований по ходу проекта, криворукостью разработчиков и применением не оптимальных решений. Как оказалось, после ухода поставщиков программного обеспечения с рынка и массового перехода на OpenSource решения, вместе с софтом "ушли" и прикладные решения для выполнения сайзинга КХД. Методика, которая рассматривается ниже, основывается на следующих послулатах
https://habr.com/ru/articles/827668/
#КХД #Сайзинг #Многоуровневое_хранилище #Расчет_размера_БД #БД #Размер_базы_данных
-
«Переезд» в другую СУБД: как не потерять данные
Привет, Хабр! На связи Александр Чебанов, product owner Modus. Вопросы «переезда» из одной СУБД в другую всплывают регулярно, особенно актуальны они для растущих компаний. Поэтому начнем говорить о миграции и о том, как этот процесс проходит для наших пользователей. Первая статья будет довольно простая и для тех, кто только "смотрит" в сторону смены БД. Поехали!
https://habr.com/ru/companies/modusbi/articles/841200/
#миграция_бд #миграция_данных #миграция #modus #modusbi #бд #dwh
-
Как найти и удалить 2 Тб ненужных файлов, которые не видит СУБД? Дорабатываем pg_orphaned
PostgreSQL, как и все СУБД, основанные на его открытом коде, устроен так, что всю информацию хранит в большом количестве отдельных файлов. И они при разных обстоятельствах могут потеряться. Например, бывает так, что при заполнении таблицы или обработке транзакции происходит сбой. Процесс, породивший файл, прерывается, не удалив результаты своей работы. СУБД про этот файл ещё ничего не знает, поскольку транзакция, создавшая его, не успела закоммититься. Часть таких файлов удалится при перезапуске СУБД, а часть — нет. Так неиспользуемые файлы копятся и занимают всё больше места. Иногда их объём исчисляется терабайтами. Меня зовут Роман Дягелев, я инженер в СберТехе, сопровождаю и разрабатываю СУБД
https://habr.com/ru/companies/sberbank/articles/825962/
#postgresql #pg_orphaned #platform_v_pangolin #dba #субд #бд #сбер