#большие_данные — Public Fediverse posts

Поворот на Восток

В последнее время наблюдается интересная тенденция: на полках книжных магазинов появляется все больше и больше технических и научно-популярных изданий китайских авторов. Причин тому несколько: во-первых, западные правообладатели не слишком охотно лицензируют свои книги на русский язык, а во-вторых… Впрочем, об этом мы подробнее поговорим чуть позже, а пока отметим, что издательство «БХВ» недавно заключило договор о сотрудничестве с двумя крупными издательствами из Поднебесной. Теперь у нас тоже будут книги китайских авторов! Так в чем же, собственно, основная причина начинающейся экспансии технических писателей из Китая на российский книжный рынок? И в чем?

https://habr.com/ru/companies/bhv_publishing/articles/1097172/

#искусственный_интеллект #разработка_по #itобразование #высоконагруженные_системы #техническая_литература #облачные_технологии #большие_данные #бхв #китайский_it #китайские_авторы

Знакомство с командой больших данных

Семь человек и десятки тысяч событий в секунду. Groot — корневая система Иви: команда работает с данными, которые нужны для рекомендаций, персонализации и обучения ML-моделей. В этом интервью Вова Петухов, руководитель отдела больших данных, рассказал, как ребята собирают real‑time события, строят сервисы поверх хранилищ, вместе учатся на ошибках, радуются, ходят на каток и придумывают стартапы за обедом.

https://habr.com/ru/companies/ivi/articles/1088400/

#иви #большие_данные #big_data #интервью #карьера #команда

[Перевод] Обречён с самого начала: проблема ИИ‑дашбордов

Искусственный интеллект уже умеет за считанные минуты собирать дашборды, которые выглядят вполне профессионально. Проблема в том, что убедительный интерфейс легко маскирует слабую постановку задачи и сомнительные выводы. В этой статье — эксперимент с тремя промптами для Claude Design и разбор того, где заканчиваются возможности модели и начинается работа аналитика. Читать разбор

https://habr.com/ru/companies/otus/articles/1070262/

#искусственный_интеллект #аналитика_данных #дашборды #визуализация_данных #BIсистемы #бизнесаналитика #большие_данные #машинное_обучение #LLM #принятие_решений

ClickHouse: сценарии, сильные стороны, лучшие практики работы в 2026 году

ClickHouse — один из самых востребованных инструментов для хранения и анализа больших объемов данных, обеспечивающий высокую производительность и наблюдаемость сервисов и приложений. Благодаря этим параметрам многие компании внедряют его в свои ИТ-инфраструктуры для решения задач аналитики, логирования и мониторинга. Однако, несмотря на широкое распространение, практика показывает, что далеко не все команды до конца осознают все особенности и нюансы работы с этой системой, что может приводить к неэффективному использованию ресурсов, ошибкам в проектировании и снижению общей производительности. Привет, Хабр. Меня зовут Александр Кривяков. Я пресейл-архитектор VK Data Platform , VK Tech. В этой статье я расскажу об основных принципах работы ClickHouse, а также покажу возможные архитектурные решения и типичные сценарии применения системы.

https://habr.com/ru/companies/vktech/articles/1061284/

#vk_cloud #clickhouse #olap #колоночное_хранение #большие_данные #data_platform #логирование #метрики #архитектура_данных #best_practices

Новинка: «Инженерия данных. Паттерны проектирования»

Приветствуем, Хабр. Мы стараемся лицензировать в издательстве «O’Reilly» и переводить для вас фундаментальные книги, в том числе, по формирующимся парадигмам и подходам к разработке. Одним из наиболее успешных базовых изданий такого рода была книга «

https://habr.com/ru/companies/bhv_publishing/articles/1055382/

#инженерия_данных #большие_данные #паттерны_проектирования #книга #проектирование_систем

Как мы анализировали поведение пользователей Яндекс Музыки на 50 млн событий

Музыкальные стриминговые сервисы давно перестали быть просто каталогами треков. Сегодня значительная часть пользовательского опыта формируется рекомендательными системами: персональными подборками, автоматическими плейлистами, «волнами» и похожими механизмами. Пользователь может сам искать музыку, добавлять треки в библиотеку и слушать знакомых артистов, а может переходить по рекомендациям алгоритма. Возникает естественный исследовательский вопрос: рекомендации действительно расширяют музыкальный кругозор или, наоборот, закрепляют уже существующие предпочтения пользователя?

https://habr.com/ru/articles/1039450/

#яндексмузыка #дата_сайенс #бигдата #аналитика #датасет #большие_данные

Почему президенты носят одинаковые костюмы, а Цукерберг ходит в одной футболке, и как это использовать в маркетинге?

Если вы смотрите новости, то, наверняка, обратили внимание на то, что многие (если не все) президенты, премьер-министры и прочие ответственные лица носят только серые или темно-синие костюмы. Как это объяснить? Правилами этикета? Возможно… А еще Марк Цукерберг постоянно ходит в серой футболке. Вряд ли в ИТ-сообществе такие же жесткие правила поведения? В этой статье поговорим о том, как процессы принятия решений могут влиять на повседневную жизнь, маркетинг и объемы продаж вашего бизнеса.

https://habr.com/ru/companies/lansoft_career/articles/1033118/

#маркетинг #cdp #профиль_клиента #психология_клиента #персонализация #большие_данные #рекомендательные_системы #рекомендательные_алгоритмы #принятие_решений

Единое окно инженера данных: как мы построили веб-среду разработки для 12 000 потоков данных

Привет, Хабр! Меня зовут Никита Калганов, я ведущий системный инженер данных в X5 Tech. Мы с командой проектируем и развиваем высоконагруженную систему потоков данных и поддерживаем её в условиях постоянного роста, как по числу потоков, так и по количеству команд, которые с ней работают. В нашей системе обработки данных живёт больше двенадцати тысяч потоков данных, и их число растёт в среднем на несколько десятков в день. Всё нормально работает, но мы решили сделать её ещё лучше. В этой статье расскажу, как мы построили единое окно инженера данных, сделали собственный DDL-мигратор с поддержкой зависимостей и при этом сохранили то, что уже работает.

https://habr.com/ru/companies/X5Tech/articles/1026382/

#большие_данные #big_data #lakehouseплатформа_данных #data_pipelines #airflow #yaml #gitlab_cicd #микросервисная_архитектура #оркестрация #ddl

Next Best Action: от задолженности к прибыли через персонализацию коммуникаций

Привет, Хабр! На связи — Ольга Кравченко, техдиректор по разработке моделей Газпромбанк.Тех. Сегодня я поделюсь кейсом, как наша команда создала инструмент, позволяющий нам продвигаться от просроченной задолженности к прибыли через персонализацию коммуникаций. Эта статья основана на моём выступлении на

https://habr.com/ru/companies/oleg-bunin/articles/1014750/

#Data_Engineering #высоконагруженные_системы #искусственный_интеллект #Next_Best_Action #ml #данные #большие_данные

Синтетика как топливо: почему self-training работает и где начинается model collapse

В индустрии ИИ случилось одно пренеприятное открытие: GPU можно купить, а качественные человеческие данные — все сложнее. Логичный шаг: если «топлива» не хватает, давайте синтезируем его сами. Звучит как вечный двигатель и на короткой дистанции, почти так и ощущается. Но есть нюанс. Если увлечься рекурсией «модель учится на своих же генерациях», можно попасть в режим model collapse — деградации распределения, исчезновению редких случаев и потери разнообразия. Эта статья продолжает цикл о новой парадигме ИИ, на этот раз предлагаем обудить, как синтетика помогает и где начинается опасность. Об авторе: Антон Пчелинцев, эксперт онлайн-магистратур

https://habr.com/ru/articles/1018800/

#искусственный_интеллект #машинное+обучение #большие_данные #bigdata #ai #стена_данных #gpu #пайплайн #качество_данных #синтетические_данные

Apache Superset — боремся с фильтрами по дате. Часть 2

В этой статье продолжаем борьбу с фильтрами по дате в Apache Superset. Сегодня разберем, как реализовать подобие логики remove_filter в старых версиях (до 5), чтобы виртуальный датасет не оборачивался фильтрами.

https://habr.com/ru/articles/1016384/

#apache_superset #jinja #фильтр #дата #танцы_с_бубном #визуализация #большие_данные

Apache Superset — боремся с фильтрами по дате. Часть 1

В этой статье хотелось бы начать раскрытие больной для многих пользователей Apache Superset темы — фильтры по дате. Начнем с малого: как суперсет выбирает колонку даты; как выбрать желаемую колонку вместо той, которую он выбирает; каким образом это реализовано; какие баги породили этим решением; почему КОП не доведет до добра.

https://habr.com/ru/articles/1013520/

#apache_superset #фильтрация_данных #костылизация #визуализация #большие_данные

Почему один рубль не всегда стоит одинаково? Или куда вывезет кривая ценности?

Почему в промо-акциях всегда указывается не только новая сниженная цена, но и та, которая была до скидки? Ответ на этот вопрос знает даже начинающий маркетолог. Если покупатель оценивает более низкую цену изолированно, он может даже не понять, что цена снижена, тем более насколько. Но ориентируясь на предыдущую цену, покупатель легко посчитает свою выгоду. Кстати, для этого даже не обязательно снижать цену, можно просто написать две разные цены. Как правило, покупатели не запоминают точные цены, особенно на недорогой товар. А знаете ли вы, что за открытие этой закономерности была присуждена Нобелевская премия по экономике? Конечно, не только за это, но давайте разбираться…

https://habr.com/ru/companies/lansoft_career/articles/1011022/

#cdp #маркетинг #экономическое_обоснование #теория_перспектив #кривая_ценности #точка_отсчёта #большие_данные #промоакция #нобелевская_премия #азартные_игры

Python mmap: Улучшенный I/O файлов с помощью отображение файлов в память

В Zen of Python есть много мудрых идей. Одна особенно полезная гласит: «Должен быть один — и желательно только один — очевидный способ сделать это». Тем не менее в Python существует несколько способов решить большинство задач. Например, есть разные способы чтения файла в Python, включая редко используемый модуль mmap . В этом руководстве вы узнаете: какие виды компьютерной памяти существуют; какие задачи можно решить с помощью mmap; как использовать отображение в память для более быстрого чтения больших файлов; как изменить часть файла, не перезаписывая весь файл; как использовать mmap для обмена информацией между несколькими процессами.

https://habr.com/ru/articles/1001546/

#mmap #python #memory_mapped_file #большие_файлы #большие_данные #работа_с_файлами #файлы #оптимизация_кода #Отображение_файла_в_память

«Найден. Жив»: как передовые технологии помогают находить пропавших людей

Эту историю неизбежно приходится начинать с тревожной статистики. В России ежегодно теряются сотни тысяч человек. Согласно данным МВД, в стране каждый год регистрируют до 180 тысяч заявлений о пропаже людей. Только за первую неделю нового года в добровольческий поисково-спасательный отряд « ЛизаАлерт » поступило больше 300 заявок от родственников и друзей исчезнувших людей. За сухими цифрами — человеческие судьбы, тревожные дни и ночи и всегда надежда на короткую, но предельно емкую фразу, которая для поисковиков и близких пропавших имеет самое важное значение: «Найден. Жив».

https://habr.com/ru/companies/leader-id/articles/993430/

#беспилотники #безопасность #познавательно #поиск #спасение #большие_данные #нейросети #искусственный_интеллект #лиза_алерт

Решение обратной задачи рекомендаций: опыт участия в VK RecSys Challenge

В декабре 2025 года VK провёл RecSys Challenge LSVD — соревнование по машинному обучению с нестандартной постановкой задачи. Традиционные рекомендательные системы решают проблему "что показать пользователю", но здесь требовалось обратное: для каждого нового клипа определить, каким пользователям он может быть интересен. Такой подход помогает решать проблему холодного старта контента, когда новое видео только появляется в системе и не имеет истории взаимодействий. Я принял участие в этом челлендже и хочу поделиться своим решением, архитектурой системы и практическими выводами.

https://habr.com/ru/articles/986440/

#recsys_challenge_2025 #recsys #ml #рекомендации_контента #коллаборативная_фильтрация #большие_данные #bigdata #vk #vklsvd #huggingface

DataHub + MCP: подключаем ИИ к управлению метаданными

Чем больше данных в компании, тем критичнее становится понимание того, где именно они хранятся и как изменяются при обновлениях. В «Островке» мы пользуемся дата-каталогами, но в какой-то момент решили пойти чуть дальше: объединили DataHub с генеративным ИИ через Model Context Protocol, чтобы сделать работу с метаданными более интерактивной и быстрой. Теперь сотрудники могут получать развернутые ответы на сложные вопросы о таблицах, lineage и зависимостях данных, не тратя часы на ручной поиск и согласования. Получилась не просто автоматизация рутинных задач, а, по сути, инструмент self-service аналитики. Под катом делимся опытом внедрения связки DataHub + MCP, рассказываем об архитектуре решения и показываем реальные примеры, как ИИ становится практическим помощником в управлении метаданными.

https://habr.com/ru/companies/ostrovok/articles/980210/

#data #datahub #ai #mcp #аналитика #большие_данные #датакаталог #метаданные #llm

Миграция ГИС ГМП: как мы перенесли сотни терабайт данных, не останавливая федеральный ресурс

Слышали о ГИС ГМП? Скорее всего, мало кто слышал. Зато точно видели, если: — вам на Госуслуги приходила пошлина на оплату нового загранпаспорта — вы получали уведомление о штрафе ГИБДД в банковском приложении — вы узнавали состояние своего единого налогового счёта (ЕНС) Чтобы всё это стало возможным, Федеральное Казначейство создало Государственную информационную систему о государственных и муниципальных платежах (ГИС ГМП). Именно она аккумулирует все назначенные людям и компаниям платежи и контролирует их оплату, сверяя платёжные поручения банков с начислениями. Как вы думаете, много ли там начислений? А платежей? Сотни миллиардов. В рамках импортозамещения нам в РТЛабс поставили задачу — мигрировать ГИС ГМП с базы данных Oracle на другую подходящую. Да-да, нам предстояло мигрировать систему, которая хранит сотни терабайт данных — кому и что было начислено, как и когда это оплатили. Как нам это удалось? Именно об этом я и хочу рассказать. На связи Михаил Денисов — технический директор блока развития казначейских проектов.

https://habr.com/ru/companies/rtlabs/articles/972482/

#импортозамещение #базы_данных #большие_данные #shardman #postgres_pro #oracle

Язык и большие данные

Язык всегда строился на интуиции носителей, а его изучение зависело от интроспекции лингвистов. Теперь же большие данные абсолютно меняют эту систему.

https://habr.com/ru/articles/972916/

#язык #лингвистика #новые_слова #нейросети #большие_данные

Что даст переход NVMe дисков на PCIe Gen 5: скорость 14 000+ МБ/с и мгновенная работа с большими данными

Диски NVMe с интерфейсом PCIe Gen 5 обещают удвоенную производительность по сравнению с Gen 4 и впечатляющие скорости за 14 000 МБ/с. Но насколько эта скорость необходима в реальных задачах и кому действительно стоит планировать переход? Разбираемся в особенностях разных поколений PCIe SSD и помогаем определить, когда апгрейд имеет смысл.

https://habr.com/ru/companies/mclouds/articles/964890/

#итинфраструктура #ssdнакопители #pcie #хранение_данных #монтаж_видео #машинное_обучение #большие_данные #cad_системы #nvme_ssd #amd_epyc

Вам куда? История Uber

Нажми кнопку — и поезжай. Эта идея стала началом того, что впоследствии изменило облик городского транспорта, бросило вызов регуляторам по всему миру и превратило Uber в глагол, узнаваемый по всему земному шару. Сегодня экосистема Uber перевозит не только людей, но и еду, продукты и товары, объединяя миллионы партнёров-водителей и сотни миллионов клиентов — в десятках миллиардов поездок. От дерзкого нарушителя правил до интегрированного партнёра — таков путь Uber.

https://habr.com/ru/articles/957926/

#uber #беспилотный_автомобиль #доставка_еды #такси #экосистема #автономия #шерингэкономика #большие_данные #bigdata #алгоритмы

Как обмануть всевидящее око: 3 забавных трюка, которые сведут с ума любой ИИ

Представьте, что вы показали другу фотографию кошки. Он сразу её узнает. Вы можете добавить к фото пару лишних пикселей, сделать её чуть ярче или даже наклеить на уголок стикер — ваш друг всё равно скажет: «Да это же кошка!». Его мозг гибок и основан на здравом смысле. А теперь представьте, что ваш друг — это искусственный интеллект. Самый современный, натренированный на миллионах изображений. И вот вы показываете ему фото той же кошки. Он уверенно заявляет: «Это кошка. Точность: 99,9%». Вы добавляете к изображению один-единственный пиксель, подобранный особым образом. ИИ вдруг задумывается и выдаёт: «Со стопроцентной уверенностью заявляю, что это авокадо». Это не баг и не фантастика. Это — adversarial-атака, или «состязательная атака». По сути, это оптическая иллюзия, созданная специально для машинного разума. И она reveals глубинную, почти философскую правду: ИИ видит мир не как мы. Для него картинка — это не образ, а просто гигантская таблица чисел, где каждое число — это яркость пикселя. Его гениальность — это умение находить в этой таблице хрупкие статистические закономерности. И эти закономерности можно сломать, едва к ним прикоснувшись. Давайте заглянем в лабораторию хакеров ИИ и посмотрим на три самых наглядных примера, которые больше похожи на сцены из шпионского боевика.

https://habr.com/ru/companies/timeweb/articles/946210/

#ии #искусственный_интеллект #нейтронные_сети #большие_данные #алгоритмы #timeweb_статьи

Apache Superset — почему все топы рынка выбрали именно его?

Попытка по-иному ответить на вопрос "какую BI-системы выбрать"? Вместо сравнения систем сделаем проще - оценим рынок и расскажем о возможностях той системы, которую рынок предпочел

https://habr.com/ru/articles/939876/

#superset #apache #визуализация #большие_данные #bi

[Перевод] Ленивые вычисления в PHP: как генераторы и итераторы экономят память и ускоряют код

Как обрабатывать миллионы строк в PHP и не убить память? Всё просто: генераторы и итераторы. Покажу, как ленивые вычисления экономят ресурсы, ускоряют код и упрощают работу с большими данными. С примерами, бенчмарками и разбором изнутри.

https://habr.com/ru/articles/939814/

#php #генераторы #итераторы #производительность #память #yield #iterator #ленивые_вычисления #оптимизация #большие_данные

[Перевод] Остерегайтесь коммивояжёра Google AI и его клики

В этой статье мы разберём чрезмерно «продающие» обзоры от ИИ Google, через которые вас вынуждают покупать плохие товары, а также исследуем систему, из-за которой такое впаривание стало возможным.

https://habr.com/ru/articles/930528/

#Google #браузеры #искусственный_интеллект #интернетмаркетинг #большие_данные #большие_языковые_модели

Российский новый университет подключился к «РосНавыку»

9 июля для ректората Российского нового университета (РосНОУ) при поддержке Университетского консорциума исследователей больших данных прошёл семинар сервиса «РосНавык». Этот мониторинговый сервис представила Дарья Олеговна Дунаева, менеджер проекта, ведущий аналитик научно-исследовательской лаборатории прикладного анализа больших данных Томского государственного университета.

https://habr.com/ru/articles/926272/

#ai #искусственный_интеллект #мониторинг #большие_данные #высшее_образование #рынок_труда #вебаналитика #вебразработка_и_дизайн #data_engineering #itинфраструктура

Большие данные для карт в реальном времени. Inception

Возникла необходимость зафиксировать опыт с последнего проекта по прокачке производительности картографического сервиса. Так сказать, чтобы 2 раза не вставать при передаче опыта. И начнём с постановки, чтобы сразу определиться с аудиторией, кому мимо, а кому больше узнать как "прожевывать" и отображать на UI от 100К объектов в секунду и не лагать. Ну а кто-то вообще не в танке про картографические сервисы и хочет "на борт". Что вас ждёт по катом. 1. MapTiler/Maplibre - картографический провайдер и UI фрэймворк для работы с ним. 2. Создание своих слоёв данных на карте. 3. Рендеринг большого объёма данных на WebGL/WebGPU. Начнём от 100К. 4. Оптимизация рендеринга с ручной подготовкой буферов для GPU. 5. Обновление данных слоя в realtime. Начнём молотить от 1M объектов. 6. Сериализация данных в ArrayBuffer для передачи напрямую в GPU. Прокачать перформанс

https://habr.com/ru/articles/922388/

#Карты #производительность #большие_данные #maplibre #deckgl

[Перевод] Эволюция Java в 2025 году: ключевые тренды и успешные кейсы

В 2025 году Java продолжает развиваться благодаря таким технологиям, как GraalVM и Project Loom. Язык становится более быстрым и эффективным инструментом для создания решений в сфере искусственного интеллекта, облачных нативных приложений, систем Интернета вещей и масштабируемых микросервисов. В этой статье рассмотрим ключевые тренды, поддерживающие актуальность Java в современной разработке программного обеспечения.

https://habr.com/ru/companies/otus/articles/915498/

#java #Искусственный_интеллект #микросервисы #Большие_данные #devops #тестирование_приложений #автоматизация_тестирования_на_java

Чем опасен apply() и почему его стоит заменить

Привет, Хабр! Сегодня рассмотрим почему DataFrame.apply() — это так себе инструмент в 2025 году, чем его заменять и как писать dataframe-логику так, чтобы она летала вместо того, чтобы жечь CPU и бюджет.

https://habr.com/ru/companies/otus/articles/913742/

#pandas #производительность_данных #векторизация #обработка_датафреймов #эффективная_аналитика #большие_данные

[Перевод] Смартфон не прослушивает вас в фоновом режиме. Истина куда страшнее

Почему соцсети показывают рекламу так, словно читают мысли? Как случайная фраза превращается в недели демонстрируемого контента? Действительно ли «Большой брат» следит за каждым? Забегая наперед: ваш смартфон вас не прослушивает. Ему это и не надо. Истина оказалась куда хуже, чем в сценарии романа-антиутопии.

https://habr.com/ru/articles/904544/

#слежка #прослушка #прослушка_телефонов #прослушивание #прослушивание_телефонных_разговоров #наблюдение #контекстная_реклама #социальные_сети #большой_брат #большие_данные