#object_storage — Public Fediverse posts

Как мы в Selectel строим S3-хранилища: от железа до приложения

Современные S3-хранилища давно перестали быть «черным ящиком»: от их архитектуры напрямую зависят отказоустойчивость, производительность и экономика сервисов, которые на них опираются. Но за внешне простым API скрывается интересная, сложная, промышленная система — от железа в стойках до многослойного распределенного приложения. В этой статье разберем, как устроено промышленное объектное хранилище на практике: какие архитектурные решения лежат в основе, как достигается масштабируемость и где проходят реальные технические компромиссы. Меня зовут Александр Гришин, я руковожу направлением хранения и обработки данных Погнали!

https://habr.com/ru/companies/selectel/articles/1032580/

#S3 #s3хранилище #cloud #selectel #object_storage

Unsere tägliche #object_storage Störung gib uns heute @hetzner

https://status.hetzner.com/incident/b4b6899e-2797-45e6-ba19-870fa314e0f1 (NBG1 degraded)

https://status.hetzner.com/incident/b4b6899e-2797-45e6-ba19-870fa314e0f1 (FSN1 degraded)

Ist das bei euch eigentlich ein Azubi Projekt?

#hetzner #s3

Зарубежные хостинги блокируют в России — переехал на Яндекс Cloud за 0 ₽/мес с помощью Claude Code

Vercel из России работает через раз. Sweb и Beget — от 300 руб/мес за раздачу файлов. Оказалось, что Яндекс Cloud отдаёт Object Storage, DNS, SSL и Cloud Functions бесплатно. Перенёс сайт за один день с помощью Claude Code + два самописных скилла для yc CLI и Яндекс Метрики.

https://habr.com/ru/articles/1011050/

#yandex_cloud #object_storage #nextjs #static_hosting #claude_code #vercel_альтернатива #яндекс_метрика #ai

Роль хранилищ и платформ данных в развитии ИИ

Сегодня бизнес активно использует машинное обучение (Machine Learning, ML) для решения самых разных задач — от прогнозирования продаж до автоматизации процессов. Однако искусственный интеллект — это не какое-то волшебство, а математика, методы и алгоритмы, которые не будут работать без качественных и подходящих именно им данных. Чем больше качественных данных доступно для анализа, тем более сложные и точные модели можно построить. Меня зовут Анна Фенюшина, я ведущий архитектор направления «Дата-сервисы» в VK Tech. В этой статье я разберу, какие поколения ML существуют, какие данные нужны для их реализации и как современные хранилища могут помочь в развитии ИИ.

https://habr.com/ru/companies/vktech/articles/989456/

#vk_cloud #ИИ #ML #Data_Platform #vk_tech #vk_data_platform #object_storage #s3

Роль хранилищ и платформ данных в развитии ИИ

Сегодня бизнес активно использует машинное обучение (Machine Learning, ML) для решения самых разных задач — от прогнозирования продаж до автоматизации процессов. Однако искусственный интеллект — это не какое-то волшебство, а математика, методы и алгоритмы, которые не будут работать без качественных и подходящих именно им данных. Чем больше качественных данных доступно для анализа, тем более сложные и точные модели можно построить. Меня зовут Анна Фенюшина, я ведущий архитектор направления «Дата-сервисы» в VK Tech. В этой статье я разберу, какие поколения ML существуют, какие данные нужны для их реализации и как современные хранилища могут помочь в развитии ИИ.

https://habr.com/ru/companies/vktech/articles/989456/

#vk_cloud #ИИ #ML #Data_Platform #vk_tech #vk_data_platform #object_storage #s3

Роль хранилищ и платформ данных в развитии ИИ

Сегодня бизнес активно использует машинное обучение (Machine Learning, ML) для решения самых разных задач — от прогнозирования продаж до автоматизации процессов. Однако искусственный интеллект — это не какое-то волшебство, а математика, методы и алгоритмы, которые не будут работать без качественных и подходящих именно им данных. Чем больше качественных данных доступно для анализа, тем более сложные и точные модели можно построить. Меня зовут Анна Фенюшина, я ведущий архитектор направления «Дата-сервисы» в VK Tech. В этой статье я разберу, какие поколения ML существуют, какие данные нужны для их реализации и как современные хранилища могут помочь в развитии ИИ.

https://habr.com/ru/companies/vktech/articles/989456/

#vk_cloud #ИИ #ML #Data_Platform #vk_tech #vk_data_platform #object_storage #s3

Роль хранилищ и платформ данных в развитии ИИ

Сегодня бизнес активно использует машинное обучение (Machine Learning, ML) для решения самых разных задач — от прогнозирования продаж до автоматизации процессов. Однако искусственный интеллект — это не какое-то волшебство, а математика, методы и алгоритмы, которые не будут работать без качественных и подходящих именно им данных. Чем больше качественных данных доступно для анализа, тем более сложные и точные модели можно построить. Меня зовут Анна Фенюшина, я ведущий архитектор направления «Дата-сервисы» в VK Tech. В этой статье я разберу, какие поколения ML существуют, какие данные нужны для их реализации и как современные хранилища могут помочь в развитии ИИ.

https://habr.com/ru/companies/vktech/articles/989456/

#vk_cloud #ИИ #ML #Data_Platform #vk_tech #vk_data_platform #object_storage #s3

Локальный диск на 288 ПБ: монтируем S3-бакет Yandex Cloud без боли

Решил я тут, что будет удобно иметь S3 бакет как диск в системе для всякого. Так как я плотно работаю с Yandex Cloud, то и использовать буду их бакет. У них довольно щедрые тарифы и достаточно большие бесплатные лимиты. https://yandex.cloud/ru/docs/storage/pricing Я сижу на Федоре. Для подключения бакета буду использовать GeeseFS - - высокопроизводительная файловая система S3 ( Яндекс , Amazon ), соответствующая стандарту POSIX и написанная на языке Go. GeeseFS позволяет монтировать S3 бакет как файловую систему. Файловые системы FUSE на основе S3 обычно имеют проблемы с производительностью, особенно при работе с небольшими файлами и операциями с метаданными. GeeseFS пытается решить эти проблемы, используя агрессивный параллелизм и асинхронность. Будет работать кстати и на винде. Естественно нужно иметь аккаунт в яндекс облаке. У меня он есть. Создать новый не представляет сложности. Там ещё и грант 4000 рублей дадут. Поэтому переходим к делу. В облаке нужно будет создать бакет . А так же статические ключи доступа . Скачиваю бинарник https://github.com/yandex-cloud/geesefs/releases/latest/download/geesefs-linux-amd64 . Кстати должна быть установлена ещё fuse, в федоре она предустановлена. В профиль aws нужно добавить созданный ранее статический ключ доступа. Если вы не пользовались aws cli, то нужно создать файл ~/.aws/credentials , если пользовались то файл уже есть. В него нужно добавить профиль

https://habr.com/ru/articles/978218/

#Yandex_Cloud #Object_Storage #GeeseFS #S3 #FUSE #монтирование_бакета #systemd #Fedora #файловая_система_в_облаке #POSIX_поверх_S3

Смотрим под капот объектному хранилищу VK Cloud: что скрывает архитектура Object Storage

Современные компании оперируют терабайтами или даже петабайтами данных. Но часто эти данные имеют разный формат, степень структурированности и не нужны в «горячем» доступе, поэтому зачастую хранить весь массив в традиционных БД не только невозможно, но и нерационально. Как результат, бизнес все чаще использует объектные S3-хранилища. Меня зовут Андрей Капустин. Я менеджер продукта Tarantool в компании VK Tech. В этой статье я расскажу об объектном хранилище VK Cloud, его архитектуре и месте Tarantool в ней.

https://habr.com/ru/companies/vktech/articles/917190/

#vk_cloud #s3 #объектное_хранилище #vk_tech #object_storage #хранилище_данных #tarantool

Асинхронно копируем объекты между регионами S3 с помощью Python

Привет, Хабр! Я Александр Гришин, отвечаю за развитие

https://habr.com/ru/companies/selectel/articles/901060/

#selectel #s3 #object_storage #cloud_storage #асинхронная_репликация #мультирегиональность

Мультипарт-загрузка в объектное хранилище Selectel: пишем тривиальный пример на Python

Объектные хранилища с доступом на базе S3 API — это, возможно, лучшее решение для хранения больших объемов данных. Однако при загрузке крупных файлов могут возникнуть проблемы. Например, долгая передача данных из-за сетевых ограничений или таймауты и обрывы соединения. Как ни крути, а интернет даже здесь диктует свои условия. Попробуем их обойти с помощью мультипарт-загрузки. Привет! Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных. В этой статье я расскажу, как загружать большие файлы в S3 с помощью мультипарт-загрузки, используя Python и boto3. Под катом вы узнаете, как работает этот механизм и как его настроить для эффективной работы.

https://habr.com/ru/companies/selectel/articles/887698/

#selectel #s3 #объектное_хранилище #multipart_upload #python #storage #object_storage

Nomadic infrastructure design for AI workloads
https://www.tigrisdata.com/blog/nomadic-compute/
#ycombinator #object_storage #blob_storage #architecture

Как Сеченовский Университет создал безопасную платформу для анализа медицинских данных с применением облачных технологий

Меня зовут Константин Бражников, я заместитель директора департамента развития клинических и образовательных проектов в Сеченовском Университете. Сегодня это исследовательский медицинский университет мирового уровня, и у него три направления деятельности: наука, образование и медицинская практика. В структуре университета работает пять университетских клинических больниц, где ежегодно проходят лечение около 500 000 пациентов. Накопленная статистика по клиническим случаям — один из источников для научных работ наших сотрудников. В прошлом году мы уже кратко рассказали на Хабре , как с использованием сервисов Yandex Cloud мы разработали платформу анализа медицинских данных — это сервис, который позволяет сотрудникам Сеченовского Университета получить доступ к клиническим данным. Пользователи системы — наши врачи‑исследователи, аспиранты и ординаторы — профессиональные научные сотрудники, которые двигают вперёд медицинскую науку. В этой статье покажу подробнее, как мы реализовали этот проект, как это решение живёт сейчас и помогает преподавателям и врачам‑исследователям в их работе.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/861698/

#сеченовский_университет #медицинские_данные #безопасное_хранение #datalens #object_storage #dwh #etl #elt

Как Сеченовский Университет создал безопасную платформу для анализа медицинских данных с применением облачных технологий

Меня зовут Константин Бражников, я заместитель директора департамента развития клинических и образовательных проектов в Сеченовском Университете. Сегодня это исследовательский медицинский университет мирового уровня, и у него три направления деятельности: наука, образование и медицинская практика. В структуре университета работает пять университетских клинических больниц, где ежегодно проходят лечение около 500 000 пациентов. Накопленная статистика по клиническим случаям — один из источников для научных работ наших сотрудников. В прошлом году мы уже кратко рассказали на Хабре , как с использованием сервисов Yandex Cloud мы разработали платформу анализа медицинских данных — это сервис, который позволяет сотрудникам Сеченовского Университета получить доступ к клиническим данным. Пользователи системы — наши врачи‑исследователи, аспиранты и ординаторы — профессиональные научные сотрудники, которые двигают вперёд медицинскую науку. В этой статье покажу подробнее, как мы реализовали этот проект, как это решение живёт сейчас и помогает преподавателям и врачам‑исследователям в их работе.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/861698/

#сеченовский_университет #медицинские_данные #безопасное_хранение #datalens #object_storage #dwh #etl #elt

Как Сеченовский Университет создал безопасную платформу для анализа медицинских данных с применением облачных технологий

Меня зовут Константин Бражников, я заместитель директора департамента развития клинических и образовательных проектов в Сеченовском Университете. Сегодня это исследовательский медицинский университет мирового уровня, и у него три направления деятельности: наука, образование и медицинская практика. В структуре университета работает пять университетских клинических больниц, где ежегодно проходят лечение около 500 000 пациентов. Накопленная статистика по клиническим случаям — один из источников для научных работ наших сотрудников. В прошлом году мы уже кратко рассказали на Хабре , как с использованием сервисов Yandex Cloud мы разработали платформу анализа медицинских данных — это сервис, который позволяет сотрудникам Сеченовского Университета получить доступ к клиническим данным. Пользователи системы — наши врачи‑исследователи, аспиранты и ординаторы — профессиональные научные сотрудники, которые двигают вперёд медицинскую науку. В этой статье покажу подробнее, как мы реализовали этот проект, как это решение живёт сейчас и помогает преподавателям и врачам‑исследователям в их работе.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/861698/

#сеченовский_университет #медицинские_данные #безопасное_хранение #datalens #object_storage #dwh #etl #elt

Как Сеченовский Университет создал безопасную платформу для анализа медицинских данных с применением облачных технологий

Меня зовут Константин Бражников, я заместитель директора департамента развития клинических и образовательных проектов в Сеченовском Университете. Сегодня это исследовательский медицинский университет мирового уровня, и у него три направления деятельности: наука, образование и медицинская практика. В структуре университета работает пять университетских клинических больниц, где ежегодно проходят лечение около 500 000 пациентов. Накопленная статистика по клиническим случаям — один из источников для научных работ наших сотрудников. В прошлом году мы уже кратко рассказали на Хабре , как с использованием сервисов Yandex Cloud мы разработали платформу анализа медицинских данных — это сервис, который позволяет сотрудникам Сеченовского Университета получить доступ к клиническим данным. Пользователи системы — наши врачи‑исследователи, аспиранты и ординаторы — профессиональные научные сотрудники, которые двигают вперёд медицинскую науку. В этой статье покажу подробнее, как мы реализовали этот проект, как это решение живёт сейчас и помогает преподавателям и врачам‑исследователям в их работе.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/861698/

#сеченовский_университет #медицинские_данные #безопасное_хранение #datalens #object_storage #dwh #etl #elt

Как избежать проблем с производительностью S3 в своём приложении

За время работы с объектными хранилищами я встречал немало «подводных рифов» на пути к быстрому и эффективному хранению. В этой статье я покажу, где чаще всего проседает производительность при работе с S3-совместимым хранилищем, — на примерах из реальных кейсов технической поддержки.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831204/

#s3 #boto3 #объектное_хранилище #object_storage #коммунальный_бакет #fss #presigned_url #bucket_policy #бакет #политика_безопасности

Как избежать проблем с производительностью S3 в своём приложении

За время работы с объектными хранилищами я встречал немало «подводных рифов» на пути к быстрому и эффективному хранению. В этой статье я покажу, где чаще всего проседает производительность при работе с S3-совместимым хранилищем, — на примерах из реальных кейсов технической поддержки.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831204/

#s3 #boto3 #объектное_хранилище #object_storage #коммунальный_бакет #fss #presigned_url #bucket_policy #бакет #политика_безопасности

Как избежать проблем с производительностью S3 в своём приложении

За время работы с объектными хранилищами я встречал немало «подводных рифов» на пути к быстрому и эффективному хранению. В этой статье я покажу, где чаще всего проседает производительность при работе с S3-совместимым хранилищем, — на примерах из реальных кейсов технической поддержки.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831204/

#s3 #boto3 #объектное_хранилище #object_storage #коммунальный_бакет #fss #presigned_url #bucket_policy #бакет #политика_безопасности

Перенести проверенную схему бэкапа больших данных из S3 в Yandex Cloud: опыт Битрикс24

Меня зовут Александр, я руковожу направлением больших данных в Битрикс24. Клиенты нашего сервиса хранят миллиарды файлов: от документов до фотографий, — а моя команда предоставляет возможность строить бизнес-аналитику на основе этого множества данных. И нам важно позаботиться об их сохранности. Более 10 лет назад мы продумали необходимую нам схему репликации объектного хранилища в облаке. Затем файлы клиентов потребовалось перенести в другое облако, и нам очень хотелось также перенести все наши наработки в режиме «Ctrl+C, Сtrl+V». В статье расскажу, как мы организовали резервирование данных в парадигме слабого связывания и как перенесли эту схему в Yandex Cloud без потери важных нам деталей.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/791996/

#object_storage #объектное_хранилище #слабое_связывание #резервирование_данных #битрикс24

Перенести проверенную схему бэкапа больших данных из S3 в Yandex Cloud: опыт Битрикс24

Меня зовут Александр, я руковожу направлением больших данных в Битрикс24. Клиенты нашего сервиса хранят миллиарды файлов: от документов до фотографий, — а моя команда предоставляет возможность строить бизнес-аналитику на основе этого множества данных. И нам важно позаботиться об их сохранности. Более 10 лет назад мы продумали необходимую нам схему репликации объектного хранилища в облаке. Затем файлы клиентов потребовалось перенести в другое облако, и нам очень хотелось также перенести все наши наработки в режиме «Ctrl+C, Сtrl+V». В статье расскажу, как мы организовали резервирование данных в парадигме слабого связывания и как перенесли эту схему в Yandex Cloud без потери важных нам деталей.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/791996/

#object_storage #объектное_хранилище #слабое_связывание #резервирование_данных #битрикс24

Перенести проверенную схему бэкапа больших данных из S3 в Yandex Cloud: опыт Битрикс24

Меня зовут Александр, я руковожу направлением больших данных в Битрикс24. Клиенты нашего сервиса хранят миллиарды файлов: от документов до фотографий, — а моя команда предоставляет возможность строить бизнес-аналитику на основе этого множества данных. И нам важно позаботиться об их сохранности. Более 10 лет назад мы продумали необходимую нам схему репликации объектного хранилища в облаке. Затем файлы клиентов потребовалось перенести в другое облако, и нам очень хотелось также перенести все наши наработки в режиме «Ctrl+C, Сtrl+V». В статье расскажу, как мы организовали резервирование данных в парадигме слабого связывания и как перенесли эту схему в Yandex Cloud без потери важных нам деталей.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/791996/

#object_storage #объектное_хранилище #слабое_связывание #резервирование_данных #битрикс24

Внутри S3. Доклад Яндекса

Привет, я Паша, разработчик в Yandex Infrastructure, и я катаю гусей. С 2019 года я развиваю S3-хранилище как для внутренних пользователей Яндекса, так и для клиентов Yandex Cloud. А «гусём» называется наш бэкенд S3 API: он написан на Go, а из словосочетания Go + S3 получился goose. Возможно, вы также слышали про GeeseFS — это наш высокопроизводительный FUSE-клиент для S3. C его помощью вы можете на своём ноутбуке или виртуалке подмонтировать папку, которая будет работать с бакетом S3. Для чего нам «гуси» и прочая орнитология? Яндексовая инсталляция хранилища S3 хранит миллиарды файлов. Это огромные объёмы данных, а также метаданных. Для хранения метаданных мы научились использовать умное шардирование, и теперь сами управляем распределением занятого места и нагрузкой между шардами баз. Так что сегодня я расскажу, как сделать так, чтобы ни один клиент, даже с самым неудобным паттерном нагрузки, не положил сервис.

https://habr.com/ru/companies/yandex/articles/803703/

#шардирование #postgres #postgresql #highload #s3 #объектное_хранилище #object_storage