#хранилище — Public Fediverse posts

Рефакторинг моего Obsidian: как я перестроил хранилище после предыдущей статьи

Какое-то время назад я выкладывал статью на Хабр про свое obsidian хранилище. Я получил хороший фидбэк и некоторые идеи. Также я понял, что довольно большая часть моего obsidian нуждается в оптимизации и структуризации. В итоге нашел свободный выходной, чтобы немного перестроить хранилище. Я все это сделал и тут расскажу, как теперь выглядит мой obsidian. Кроме простой структуризации и удаления лишнего, я также провел некоторые махинации над кодом dataviewjs своей библиотеки книг и доделал свою домашнюю страницу, добавив интеграцию со своей основной библиотекой и поработав на css составляющей. В общем-то были еще некоторые изменения, но об этом всем будет далее.

https://habr.com/ru/articles/1075372/

#obsidian #javascript #markdown #заметки #менеджмент #продуктивность #хранилище #данные #книги #zettelkasten

Чему меня научили десятки AI-агентов: как я в качестве эксперимента написал хранилище Blockstor

Пару месяцев назад я решил провести эксперимент и сделать с нуля clean-room имплементацию LINSTOR , используя его референсы и публичные API-типы. Изначально эта идея зародилась как пятничная шутка: я просто хотел уделить этой задаче минимум времени, запустить ее на фоне и посмотреть, к чему это приведёт. Целью было просто проверить, насколько современные нейросети способны к автономной работе без участия человека. Спойлер: полностью автономной работы не получилось, и мне пришлось достаточно сильно повозиться над проектом. Однако в итоге процесс меня затянул с головой и конечный результат превзошёл все мои ожидания.

https://habr.com/ru/companies/aenix/articles/1068652/

#aenix #cozystack #cncf #apache2 #linstor #storage #kubernetes #хранилище #облачные_хранилища

Третья копия — это хорошо. А где четвёртая, с блэкджеком и AD?

Привет, Хабр! На связи команда инфраструктурного центра «Инфосистемы Джет». Давайте договоримся сразу — мы любим, применяем и верим в правило «3-2-1», оно работает. Как базовая гигиена. Но важно то, что после «но». Правило «3-2-1» подробно отвечает на вопрос, как хранить резервные копии. Но почти ничего не говорит о том, что делать, если целью атаки становятся сами резервные копии. Поэтому теперь мы считаем, что ему не хватает четвертого элемента — мы называем его «Бункер».

https://habr.com/ru/companies/jetinfosystems/articles/1060854/

#срк #закрытый_контур #восстановление_данных #хранилище #хранение_данных #321 #доверенная_среда #неизменяемые_копии #цод_и_хранение_данных #32210

Внутри метастора S3 в One-Cloud

Как мы пришли к локальному скану, фильтру Блума и переезду очереди на Kafka — и почему это всё случилось Привет, Хабр. Я Данил Кислов, разработчик команды хранилищ. У нас в One-cloud (внутренняя корпоративная облачная платформа) лежит собственная S3-совместимая реализация — one-object-storage. Хочу рассказать, как эволюционировал метастор S3— та часть, что отвечает за метаданные объектов: списки версий, индексы, настройки бакетов и прочую служебную мелочь. История начинается с того, что система, построенная под одни требования, перестаёт им соответствовать и постепенно адаптируется к новым. Почти каждое решение из дальнейшего — компромисс, который приехал под конкретную боль на конкретном масштабе. И почти у каждого есть свои плюсы и минусы. Разбираем эволюцию метастора

https://habr.com/ru/companies/vk/articles/1051036/

#s3 #cassandra #архитектура #хранилище #метастор #onecloud

REDB изнутри, статья 1: 13 таблиц, на которых работает всё

В предыдущей статье я разобрал что умеет REDB на практике: code-first схемы, LoadAsync без Include, LINQ с оконными функциями, деревья, redb.Route и redb.Tsak. Если не читали — начните с неё, она даёт общую картину. Теперь начинаю цикл «REDB изнутри» — серия статей про устройство хранилища: как хранятся объекты и свойства, как работают схемы и кэш структур, как LINQ превращается в SQL, как устроены деревья, права, оконные функции. Всё с реальным SQL под капотом. Первая статья цикла — про саму базу данных. Без понимания схемы таблиц всё остальное будет висеть в воздухе.

https://habr.com/ru/articles/1043790/

#redb #dotnet #postgresql #mssql #хранилище #архитектура

От vSphere к VCD: как мы построили хранилище образов и нативный CSI для Kubernetes

Мы реализовали хранилище образов, чтобы пользователи могли структурировать их и более оперативно создавать виртуальные машины. И сегодня расскажем, с чем столкнулись и что получилось.

https://habr.com/ru/companies/dbraincloud/articles/1037458/

#виртуализация #виртуальная_машина #контейнеризация #контейнеры #микросервисы #kubernetes #dbrain #vsphere #vcd #хранилище

S3 Архипелаг: разворачиваем объектное хранилище за 15 минут

На связи Илья Шуйков, руководитель продукта «Фабрика данных» компании Диасофт. В прошлой статье мы рассказали, зачем понадобилось строить свое объектное хранилище, и как устроен S3 Архипелаг изнутри. Теперь — практика: берем дистрибутив и разворачиваем рабочее хранилище.

https://habr.com/ru/companies/diasoft_company/articles/1032522/

#объектное_хранилище #хранилище #s3 #объектное_хранилище_s3 #хранение_данных #data_engineering #фабрика_данных #Digital_QDataFactory #S3_Архипелаг

От MinIO к SeaweedFS: опыт замены S3-хранилища

Есть такой опасный момент в инфраструктуре: когда все вроде бы работает, но трогать это лишний раз не хочется. Не потому что идеально. А потому что есть ощущение — если полезешь, станет хуже. В какой-то момент мы поймали себя на этом с MinIO.

https://habr.com/ru/companies/dbraincloud/articles/1028694/

#seaweedfs #minio #s3 #хранилище #кубернетес #kubernetes #контейнеризация #s3хранилище #инфраструктура #ceph

Когда бэкап — последний «выживший»: почему обычные резервные копии не спасают

За последние годы атаки заметно изменились. Если раньше шифровальщики ограничивались отдельными серверами или рабочими станциями, то теперь они целенаправленно идут к системе резервного копирования. Если это удается — атака уже выиграна, даже если остальная инфраструктура формально еще работает. В этот момент становится очевидно: сам факт наличия резервных копий ничего не гарантирует. Поэтому сегодня приходится защищать не только данные, но и саму систему резервного копирования.

https://habr.com/ru/companies/jetinfosystems/articles/1019512/

#срк #резервирование #бэкап #шифровальщик #харденинг #хранилище #изоляция #кибербезопасность #киберпротект #бункер

S3 Архипелаг: как мы в Диасофте построили свое объектное хранилище

Лет десять назад объектное хранилище было экзотикой. Крупные компании обходились NFS-шарами и надеждой, что RAID не развалится в самый неподходящий момент. Средний бизнес в целом не понимал, зачем это нужно. Но сегодня все изменилось. S3 API стал таким же стандартом, как REST или JSON. Мы в Диасофте построили «Фабрику данных» (Digital Q.DataFactory) в архитектуре Data Lakehouse на основе S3 Архипелаг, которая объединяет гибкость Data Lake с надежностью хранилища данных. В этой статье расскажем, как построили слой хранения.

https://habr.com/ru/companies/diasoft_company/articles/1003442/

#объектное_хранилище #хранилище #s3 #объектное_хранилище_s3 #хранение_данных #data_engineering

Что делать, если нужно одно решение, чтобы править всеми СХД? Выбираем CSI-драйвер: от вендора или универсальный

Команда Deckhouse Storage рассказала о поддерживаемых в наших платформах CSI с использованием реализаций от вендора (для платформ Huawei, HPE, NetApp и Yadro), а также о собственном универсальном CSI-драйвере csi-scsi-generic, который поддерживает интеграцию с любыми системами хранения данных.

https://habr.com/ru/companies/flant/articles/967318/

#схд #система_хранения_данных #csi #хранилище #deckhouse #hpe #csiдрайвер #netapp #tatlinunified #scsi

Учёные представили технологию "5D-памяти", которая может хранить данные десятки миллиардов лет
https://www.unian.net/science/uchenye-predstavili-tehnologiyu-5d-pamyati-kotoraya-mozhet-hranit-dannye-desyatki-milliardov-let-13226625.html
#unian #5D_память #SPhotonix #стартап #хранилище #хранилищеданных #сколькохранятсяданные

Компания Atlas Data Storage представила первое в мире хранилище данных на основе ДНК
https://www.unian.net/science/chto-delayut-s-dnk-kompaniya-atlas-data-storage-predstavila-hranilishche-dannyh-na-osnove-dnk-13219086.html
#unian #ДНК #Atlas_Data_Storage #хранилище #хранилищеданных

Непопулярный вариант развертывания хранилища Nextcloud

Привет, Хабр. У меня тут такая история случилась: накопился массив фотографий с путешествий, всяких документов, семейных архивов и учебных материалов по всяких курсам — всего где-то гигов 300. Все важное, ценное, и, конечно, это все очень не хочется потерять. Я почитал статьи здесь на Хабре, погуглил и понял, что многие покупают себе физические серверы с дисками и на них устраивают хранилища, например, Nextcloud. Звучит удобно: можно настроить синхронизацию со всех устройств, не надо переживать за безопасность, потому что на сервере уже есть защита, и я полностью управляю своими данными. Одно «но» — для меня это дороговато. Получается, что на средний вариант такого сервера и пары дисков, чтобы настроить рейд-массив, нужна приличная сумма. Плюс по комментариям к статьям понял, что придется заморочиться с установкой Nextcloud на сервер. Не уверен, что хочу ввязываться в такие сложности. Пока изучал тему, увидел, что есть и другой вариант — более дешевый и вроде такой же простой по установке и настройке. Решил протестировать и рассказать, что же у меня в итоге получилось.

https://habr.com/ru/companies/cloud_ru/articles/957612/

#nextcloud #хранилище_файлов #сервер_дома #виртуальная_машина #инструкция #облако #хранилище #хранилище_данных

[Перевод] Стратегии управляемых облачных сервисов: ключевые уроки и примеры из практики ведущих предприятий

Перевод статьи Аамира Афтаба, где автор разбирает стратегии внедрения управляемых облачных сервисов, ключевые ошибки и лучшие практики корпоративной облачной трансформации на примере реального кейса сервиса по подбору специалистов в сфере здравоохранения и технологий. Внедрение облачных технологий — это не просто обновление технологий, а необходимое изменение мышления, операционной деятельности и культуры. Лучшие компании рассматривают облако как инструмент расширения, гибкости и надежности, а не просто инструмент снижения затрат. В данной статье рассматриваются уроки ведущих компаний с акцентом на регулярно наблюдаемые закономерности и факторы успеха, а также факторы неудач и стратегии, которые следует использовать для достижения успешной облачной трансформации.

https://habr.com/ru/companies/hstx/articles/949622/

#хранилище #хранилище_данных #хранилище_медицинских_данных #бэкап #восстановление_данных #репликация #rto #отказоустойчивость

[Перевод] Облачные вычисления в 2025 году: рост ИИ приводит к революции на рынке объемом $723 млрд

Перевод статьи Патрика Косса о том, как ИИ, edge-компьютинг, serverless и мультиоблачные стратегии меняют облачную инфраструктуру. Автор подчеркивает, что речь идет не о постепенной эволюции, а о настоящей трансформации, которая уже влияет на стратегию крупнейших компаний и задаёт новые правила игры. Индустрия облачных вычислений переживает свой самый трансформационный период: интеграция искусственного интеллекта стимулирует беспрецедентный рост и меняет то, как компании подходят к цифровой инфраструктуре. Новые данные показывают, что глобальные расходы на публичные облачные сервисы достигнут $723,4 млрд в 2025 году, что составляет рост на 21% по сравнению с $595,7 млрд в 2024 году. Этот всплеск связан с тем, что всё больше организаций обращаются к облачным сервисам с поддержкой ИИ: уже 72% компаний используют платформы генеративного ИИ, и эта тенденция кардинально меняет распределение ресурсов и стратегические приоритеты в разных отраслях.

https://habr.com/ru/companies/hstx/articles/947190/

#хранилище #хранилище_данных #бэкап #восстановление_данных #репликация #rto #отказоустойчивость #облако #edge #serverless

ESOS + Hyper-V: как добиться отказоустойчивости СХД когда «из коробки» её не было

История о том, как мы собрали HA-кластер для Hyper-V на почти бесплатных компонентах: ноунейм-СХД, ESOS и пыльных FC-адаптеров. Разобрали все грабли: от падающих LUN'ов до сломанных XFS-разделов. В статье — готовые скрипты и проверенная конфигурация, которые сэкономят вам недели экспериментов.

https://habr.com/ru/articles/947118/

#схд #hyperv #windows_server #хранилище #esos

Nextcloud для дома: Snap, Docker или …? Пошаговый гайд для простых людей

Привет, Хабр! Меня зовут Даня Гербовец, я разработчик в международной компании Garage Eight. Сегодня хочу поделиться своим опытом, как можно поднять собственное домашнее облако — быстро, понятно и недорого. Почему я вообще пришел к идее развернуть у себя Nextcloud? Всё просто: огромное количество файлов. Фото и видео в наше время занимают куда больше места, а надежности смартфонов я не доверяю. Я начал интересоваться облачными хранилищами, но довольно быстро понял: если хочется действительно много места за адекватный прайс, нужен свой сервер. Всё оказалось не так сложно, как кажется на первый взгляд, — расскажу по шагам, какие есть варианты установки, что выбрать и на что стоит обратить внимание.

https://habr.com/ru/companies/garage8/articles/937064/

#nextcloud #snap #ubuntu #docker #облако #хранилище #хранилище_данных

Экскурсия по дата-центру «Медведково-2»

Наш ЦОД «Медведково», о котором мы уже рассказывали , в 2024 году стал кластером, так как рядом был построен еще один дата-центр — «Медведково-2». В этой статье мы покажем, как устроен новый ЦОД. Здание «Медведково-2» возвели за год, параллельно проводили интеграцию инженерных систем. К 2024 году ЦОД полностью подготовили для проведения аудита и сертификации. Дата-центр успешно прошел испытания Uptime Facility и получил сертификат Tier III. Подробнее

https://habr.com/ru/companies/rt-dc/articles/935974/

#рткцод #цод #датацентр #цодостроение #безопасность #хранилище

Выбираем базу данных правильно! Чек-лист на все случаи жизни

Выбор базы данных — это как выбор инструмента: молотком не закручивают шурупы, а гаечным ключом не забивают гвозди. Чтобы не ошибиться, давайте разберёмся, какие бывают базы данных, чем они отличаются и когда их стоит использовать.

https://habr.com/ru/articles/926402/

#базы_данных #выбрать #Выбор_БД #БД #system_design #проектирование_баз_данных #Какую #чеклист #хранилище #хранение_данных

[Перевод] О мягких и жёстких ссылках в Linux

Ссылки в Linux — это мощный инструмент, позволяющий указывать путь к файлам и каталогам. Существует два основных типа ссылок: жёсткие ссылки и мягкие ссылки (вторые также известны как символические ссылки или симлинки). Понимание различий между этими двумя типами поможет вам эффективно управлять файловой системой.

https://habr.com/ru/companies/timeweb/articles/925150/

#timeweb_статьи_перевод #ссылки #linux #жесткие_ссылки #файлы #inode #хранилище #файловая_система

Развёртывание отказоустойчивого Nextcloud Enterprise: пошаговое руководство

Привет! Сегодня поговорим о Nextcloud. Вы наверняка слышали об этом мощном решении для хранения, совместной работы и обмена файлами. В статье разберём, как развернуть Nextcloud в высокодоступной конфигурации с балансировщиком нагрузки, реплицируемой базой данных, отказоустойчивым хранилищем и полнотекстовым поиском.

https://habr.com/ru/companies/cloud4y/articles/920596/

#Nextcloud #хранилище #поиск

Как мы учились управлять миллионами учётных записей и их секретами

Всем привет. Название статьи говорит за себя, добавлю лишь, что расскажу об объединении IGA, PAM и Vault. Статья будет интересна DevSecOps-инженеров, специалистов по безопасности и администраторов инфраструктуры.

https://habr.com/ru/companies/sberbank/articles/919442/

#учётные_записи #хранилище

[Перевод] Коротко объясняем, что такое поток, буфер, дуплекс и канал

Поток – это последовательность элементов данных, предоставляемых за некоторое время. Концепция потока (stream) позволяет обрабатывать или передавать данные поэлементно, а не как одно целое. Потоки особенно полезны в сценариях, когда приходится работать с большими множествами данных, непрерывными данными или данными реального времени.

https://habr.com/ru/companies/timeweb/articles/916374/

#timeweb_статьи_перевод #поток #буфер #дуплекс #канал #stream #хранилище #программирование #nodejs #сетевые_технологии

Делиться информацией = расти вместе. 4 шага для построения хранилища данных — фундамента базы знаний

Этот текст — эссенция практического опыта креативного специалиста, который помогает бизнесу находить технические решения в области построения базы знаний. Решил поделиться своими заметками об архитектуре хранилища данных ( DWH ) и написать, почему важно хранить корпоративные данные в едином хранилище, как преодолеть внутренние барьеры (вроде страха критики и синдрома самозванца) для начала обмена знаниями и какими техническими и организационными решениями можно сделать этот процесс удобным и полезным. В статье — живой опыт, конкретные советы и немного вдохновения для тех, кто только начинает делиться знаниями внутри команды.

https://habr.com/ru/articles/901544/

#данные #база #знания #навыки #хранилище #обмен_опытом #обмен_знаниями #mvp #базы_данных

S3: возможности протокола и паттерны использования

Привет, Хабр! На связи Игорь Шишкин, я руковожу командой R&D в облачном направлении Рег.ру и являюсь архитектором наших сервисов. В статье расскажу, как в целом работать с S3-совместимыми хранилищами, зачем их использовать, какие бывают базовые паттерны и что с этим делать. Поехали!

https://habr.com/ru/companies/runity/articles/898710/

#s3 #s3хранилище #хранилище #хранение_данных #облачные_технологии #simple_storage_service #хранение_информации #бакет #bucket #go

localForage — Что делать если localStorage уже не хватает?

localStorage и sessionStorage сильно ограничены в размере - всего 5 МБ, а использование IndexedDB для обхода этого ограничения не всегда является удобным из-за сложного API. localForage решает сразу обе проблемы!

https://habr.com/ru/articles/874980/

#localstorage #localforage #хранилище #sessionstorage #javascript #webapi #indexeddb

Эффективность на максимум: как выбрать оптимальное сетевое хранилище (NAS) для корпоративной среды

В современном мире, где объемы данных растут экспоненциально, а требования к их доступности и безопасности становятся все жестче, выбор оптимального сетевого хранилища (Network Attached Storage, NAS) становится критически важной задачей для профессионалов и продвинутых пользователей. Правильно подобранное NAS-решение может стать ключевым фактором эффективности IT-инфраструктуры, обеспечивая не только надежное хранение данных, но и повышая производительность всей системы в целом. При

https://habr.com/ru/companies/x-com/articles/831714/

#xcomshop #nas #хранилище #хранение_данных #хранилище_данных

Что нужно знать про объектные хранилища

Цифровые хранилища данных изменили способы производства, обработки и хранения информации. Переломный момент наступил в 1996 году, когда цифровое хранилище стало более рентабельным, чем бумажное. В 1999 году в мире появилось ≈1,5 эксабайт уникальной информации, которая хранилась на бумаге, пленке, оптических и магнитных носителях. Причем печатные материалы всех видов составили лишь 0,003% от общего объема хранимой информации. По подсчетам IDC и Seagate, глобальная сфера данных к 2025 году достигнет 175 зеттабайт, то есть увеличится более чем в 100 тыс. раз за четверть века. А с развитием генеративных нейронных сетей данных может стать еще больше. Возникают закономерные вопросы: где хранить информацию, в каком виде и как получать к ней доступ. Человечество изобретает новые накопители (например, жесткие диски с технологией разогрева магнитных пластин лазером) и строит дата-центры, хранящие эксабайты информации, часть из которых предоставляется заказчикам в виде объектных хранилищ. Цель этой статьи — рассказать об особенностях использования таких хранилищ.

https://habr.com/ru/companies/mws/articles/822653/

#объектное_хранилище #s3 #хранилище #данные #объектное_хранилище_s3

Greenplum, NiFi и Airflow на страже импортозамещения: но есть нюансы

В статье описывается практическое применение популярных Open-Source технологий в области интеграции, хранения и обработки больших данных: Apache NiFi, Apache Airflow и Greenplum для проекта по аналитике учета вывоза отходов строительства. Статья полезна специалистам и руководителям, которые работают с данными решениями и делают ставку на них в части импортозамещения аналогичных технологий. Статья дает обзор основных сложностей внедрения на примере реального кейса, описывает архитектуру и особенности при совместном использовании решений.

https://habr.com/ru/articles/810083/

#данные_в_компании #хранилище #хранение_данных #хранилище_данных #airflow #greenplum #nifi #bigdata

Технологии групповой разработки в современной 1С-индустрии

Привет, Хабр! Меня зовут Стас Ганиев, программист 1С, в этой статье я рассмотрю и сравню три самых популярных подхода к групповой разработке: хранилище конфигураций, конфигуратор + Git, EDT + Git.

https://habr.com/ru/companies/lad_/articles/804857/

#git #edt #хранилище #групповая_разработка #1с #инструменты #разработка

Современные тенденции и проблемы управления данными на рынке РФ: вызовы 2024 года

В эпоху данных и активной цифровизации вопросы эффективного управления данными становятся все более актуальными. От того, насколько эффективно компания управляет своими данными, зависит эффективность принятия управленческих решений, что влияет на выручку компании и чистую прибыль. Вопросы управления данными включают задачи эффективного хранения и обработки данных (КХД, озера данных, ETL & ELT) в облаках и On-Premise, настройки интеграционных потоков (транспорт) для анализа в режиме реального времени и не только, вопросы предоставления данных во внешние системы и BI, процессы качества данных и каталогизации, безопасность данных, решения на базе расширенной аналитики и ИИ. Александр Сулейкин, кандидат технических наук, генеральный директор и архитектор Big Data систем компании “ДЮК Технологии” дает прогноз на предстоящий год: какие технологии управления данными будут развиваться, с какими проблемами сталкивается бизнес и каких технологий не хватает для полноценного импортозамещения.

https://habr.com/ru/articles/801599/

#данные #прогноз #хранилище #управление_данными #дата_каталоги #etl #BI #big_data #тренды_в_it