#glusterfs — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #glusterfs, aggregated by home.social.
-
Как работает система резервного копирования в SpaceVM
В среде виртуализации цена ошибки выше, чем в физической инфраструктуре: проблема редко затрагивает одну машину — чаще это сразу десятки ВМ и сервисы, на которых завязана половина инфраструктуры. Администратор удалил не тот диск, хранилище повело себя нестабильно, данные оказались повреждены. В такие моменты важен не сам факт наличия резервного копирования, а то, насколько быстро и предсказуемо можно восстановиться. В SpaceVM система резервного копирования (СРК) изначально проектировалась не как отдельный внешний инструмент, а как часть платформы. Это важно: все сценарии — от быстрого отката до восстановления на другом узле — встроены в общий цикл работы с виртуальными машинами и не требуют отдельной инфраструктуры. Разберём, как работает СРК в SpaceVM на практике: от моментальных снимков до полноценных резервных копий и массовых сценариев восстановления — то есть всех стандартных задач.
https://habr.com/ru/companies/spacevm/articles/1021690/
#glusterfs #gfs2 #хранение_данных #резервное_копирование #виртуализация #snapshot #vdi #гиперконвергентная_инфраструктура #восстановление_данных #отказоустойчивость
-
Как работает система резервного копирования в SpaceVM
В среде виртуализации цена ошибки выше, чем в физической инфраструктуре: проблема редко затрагивает одну машину — чаще это сразу десятки ВМ и сервисы, на которых завязана половина инфраструктуры. Администратор удалил не тот диск, хранилище повело себя нестабильно, данные оказались повреждены. В такие моменты важен не сам факт наличия резервного копирования, а то, насколько быстро и предсказуемо можно восстановиться. В SpaceVM система резервного копирования (СРК) изначально проектировалась не как отдельный внешний инструмент, а как часть платформы. Это важно: все сценарии — от быстрого отката до восстановления на другом узле — встроены в общий цикл работы с виртуальными машинами и не требуют отдельной инфраструктуры. Разберём, как работает СРК в SpaceVM на практике: от моментальных снимков до полноценных резервных копий и массовых сценариев восстановления — то есть всех стандартных задач.
https://habr.com/ru/companies/spacevm/articles/1021690/
#glusterfs #gfs2 #хранение_данных #резервное_копирование #виртуализация #snapshot #vdi #гиперконвергентная_инфраструктура #восстановление_данных #отказоустойчивость
-
Как работает система резервного копирования в SpaceVM
В среде виртуализации цена ошибки выше, чем в физической инфраструктуре: проблема редко затрагивает одну машину — чаще это сразу десятки ВМ и сервисы, на которых завязана половина инфраструктуры. Администратор удалил не тот диск, хранилище повело себя нестабильно, данные оказались повреждены. В такие моменты важен не сам факт наличия резервного копирования, а то, насколько быстро и предсказуемо можно восстановиться. В SpaceVM система резервного копирования (СРК) изначально проектировалась не как отдельный внешний инструмент, а как часть платформы. Это важно: все сценарии — от быстрого отката до восстановления на другом узле — встроены в общий цикл работы с виртуальными машинами и не требуют отдельной инфраструктуры. Разберём, как работает СРК в SpaceVM на практике: от моментальных снимков до полноценных резервных копий и массовых сценариев восстановления — то есть всех стандартных задач.
https://habr.com/ru/companies/spacevm/articles/1021690/
#glusterfs #gfs2 #хранение_данных #резервное_копирование #виртуализация #snapshot #vdi #гиперконвергентная_инфраструктура #восстановление_данных #отказоустойчивость
-
Как работает система резервного копирования в SpaceVM
В среде виртуализации цена ошибки выше, чем в физической инфраструктуре: проблема редко затрагивает одну машину — чаще это сразу десятки ВМ и сервисы, на которых завязана половина инфраструктуры. Администратор удалил не тот диск, хранилище повело себя нестабильно, данные оказались повреждены. В такие моменты важен не сам факт наличия резервного копирования, а то, насколько быстро и предсказуемо можно восстановиться. В SpaceVM система резервного копирования (СРК) изначально проектировалась не как отдельный внешний инструмент, а как часть платформы. Это важно: все сценарии — от быстрого отката до восстановления на другом узле — встроены в общий цикл работы с виртуальными машинами и не требуют отдельной инфраструктуры. Разберём, как работает СРК в SpaceVM на практике: от моментальных снимков до полноценных резервных копий и массовых сценариев восстановления — то есть всех стандартных задач.
https://habr.com/ru/companies/spacevm/articles/1021690/
#glusterfs #gfs2 #хранение_данных #резервное_копирование #виртуализация #snapshot #vdi #гиперконвергентная_инфраструктура #восстановление_данных #отказоустойчивость
-
@alienghic
Well 3 of them used to be desktop PCs for my kids or a media PC for our front room. So they were kinda "free". They run as a #proxmox cluster so you need an odd number for quorum. Right now they host a #homeassistant VM, a VM thats a #Cfengine3 policy server, my #guixrouter which routes and traffic shapes the entire network, a 2 node #glusterfs cluster thats our home NAS (hosts home dirs for desktop machines), a #guix build VM, and a #yunohost machine hosting #Immich, and #Zabbix -
Как создать программно-определяемое хранилище в SpaceVM
Привет, Хабр! Меня зовут Даниил Киселёв, я специалист по техническому сопровождению Space. В этой статье я на практическом примере покажу, как в SpaceVM собрать программно-определяемое кластерное хранилище. Рассмотрим типовую конфигурацию, учитывая, что в реальном продакшене параметры и архитектурные решения могут отличаться. Бизнес ожидает от СХД простых характеристик — чтобы данные были доступны всегда, а сбои и обслуживание не останавливали работу виртуальных машин и сервисов. Именно поэтому программно-определяемые хранилища становятся распространенным инструментом. На примере SpaceVM разбираем, как за считанные минуты собрать отказоустойчивое кластерное SDS, которое решает сразу несколько ключевых задач: снижает стоимость владения и обеспечивает стабильную работу в реальных условиях эксплуатации. Вопрос о том, зачем вообще нужны программно-определяемые хранилища не лишен смысла. Объемы данных, которые приходится хранить бизнесам, постоянно растут, емкость хранилищ приходится постоянно наращивать, а многим компаниям приходится, к тому же, еще и обеспечивать соответствие требованиям регуляторов. Но стоимость аппаратных СХД и объем инвестиций в них перевешивают – и компании задумываются о переходе на SDS. Они не только дешевле в принципе – экономия становится еще заметнее, если приходится иметь дело с неструктурированными данными. Есть и другие преимущества: можно абстрагироваться от аппаратной платформы и успешно побороть пресловутый vendor-lock. (это особенно важно в России), компании куда проще обеспечить независимость от вендорских санкций.
https://habr.com/ru/companies/spacevm/articles/995776/
#sds #glusterfs #виртуализация #хранение_данных #инфраструктура
-
Как создать программно-определяемое хранилище в SpaceVM
Привет, Хабр! Меня зовут Даниил Киселёв, я специалист по техническому сопровождению Space. В этой статье я на практическом примере покажу, как в SpaceVM собрать программно-определяемое кластерное хранилище. Рассмотрим типовую конфигурацию, учитывая, что в реальном продакшене параметры и архитектурные решения могут отличаться. Бизнес ожидает от СХД простых характеристик — чтобы данные были доступны всегда, а сбои и обслуживание не останавливали работу виртуальных машин и сервисов. Именно поэтому программно-определяемые хранилища становятся распространенным инструментом. На примере SpaceVM разбираем, как за считанные минуты собрать отказоустойчивое кластерное SDS, которое решает сразу несколько ключевых задач: снижает стоимость владения и обеспечивает стабильную работу в реальных условиях эксплуатации. Вопрос о том, зачем вообще нужны программно-определяемые хранилища не лишен смысла. Объемы данных, которые приходится хранить бизнесам, постоянно растут, емкость хранилищ приходится постоянно наращивать, а многим компаниям приходится, к тому же, еще и обеспечивать соответствие требованиям регуляторов. Но стоимость аппаратных СХД и объем инвестиций в них перевешивают – и компании задумываются о переходе на SDS. Они не только дешевле в принципе – экономия становится еще заметнее, если приходится иметь дело с неструктурированными данными. Есть и другие преимущества: можно абстрагироваться от аппаратной платформы и успешно побороть пресловутый vendor-lock. (это особенно важно в России), компании куда проще обеспечить независимость от вендорских санкций.
https://habr.com/ru/companies/spacevm/articles/995776/
#sds #glusterfs #виртуализация #хранение_данных #инфраструктура
-
Как создать программно-определяемое хранилище в SpaceVM
Привет, Хабр! Меня зовут Даниил Киселёв, я специалист по техническому сопровождению Space. В этой статье я на практическом примере покажу, как в SpaceVM собрать программно-определяемое кластерное хранилище. Рассмотрим типовую конфигурацию, учитывая, что в реальном продакшене параметры и архитектурные решения могут отличаться. Бизнес ожидает от СХД простых характеристик — чтобы данные были доступны всегда, а сбои и обслуживание не останавливали работу виртуальных машин и сервисов. Именно поэтому программно-определяемые хранилища становятся распространенным инструментом. На примере SpaceVM разбираем, как за считанные минуты собрать отказоустойчивое кластерное SDS, которое решает сразу несколько ключевых задач: снижает стоимость владения и обеспечивает стабильную работу в реальных условиях эксплуатации. Вопрос о том, зачем вообще нужны программно-определяемые хранилища не лишен смысла. Объемы данных, которые приходится хранить бизнесам, постоянно растут, емкость хранилищ приходится постоянно наращивать, а многим компаниям приходится, к тому же, еще и обеспечивать соответствие требованиям регуляторов. Но стоимость аппаратных СХД и объем инвестиций в них перевешивают – и компании задумываются о переходе на SDS. Они не только дешевле в принципе – экономия становится еще заметнее, если приходится иметь дело с неструктурированными данными. Есть и другие преимущества: можно абстрагироваться от аппаратной платформы и успешно побороть пресловутый vendor-lock. (это особенно важно в России), компании куда проще обеспечить независимость от вендорских санкций.
https://habr.com/ru/companies/spacevm/articles/995776/
#sds #glusterfs #виртуализация #хранение_данных #инфраструктура
-
In this guide, I will try to explain how to set up a Docker Swarm system that is completely highly available
https://hostlab.tech/blog/docker-swarm-ha-gluster
#docker #dockerswarm #keepalived #nginx #linux #ubuntu #portainer #gluster #glusterfs #tutorial #opensource #highavailability
-
CW: Media servers, Leicmin, Rust, and Contributor verses Supervisor
Woke up early again with a smidge of acid reflux. In the process of getting water, both dogs swarmed me so I can't stretch my legs or lie down again. This is my life now.
Yesterday ended up being a "fuck everything" day so no writing group, no Leicmin, and no chores.
Today, my goal are to migrate another couple of terabytes from SeaweedFS to GlusterFS, start ripping a fresh copy of Kids in the Hall and Supernatural the day after I deleted them to make the move easier because we haven't watched either show in years (we hate S15 of Supernatural) but then Partner had the sudden craving to watch out of the blue (more evidence that telepathy exists between us).
In Leicmin, I went through the TypeID crates in hope to find one that "just works" to avoid learning Rust macros but none support my need of
sqlxand JSON serialization so... I have to learn Rust meta coding.if I want to avoid a lot of boilerplate (I'm up to thirteen typesafe identifiers).My initial exploration of macros isn't going well, I haven't found the connection of what I want (an attribute on a call) to where I need to go (a bunch of
implblocks and common functions).At work, I'm now interacting with a second team of fourteen developers in India, so my personal coding time is now reduced to "while other people are speaking during meetings" and a two hour block at the end of the day.
I also had to show our team how to use C# extensions to avoid copy pasting the same block of code twelve times.
Which led nicely into my meeting with the India recruiters for the third team of "about six" developers and what I'm looking for (the ability to pay attention to details with a bonus of understanding features of a language that has been out for two decades).
So it's going to be a "hard" puzzle day.
It would be awesome I could move from the bed or lie down. :D
-
So far, GlusterFS is working. I'm going to try moving some files over to the new node while evacuating another seaweedfs node. Since I have to do three seaweedfs nodes for every GlusterFS, it will take a while. Plus, rsync is really slow since I have so many files that appear good but aren't.
But I got Bob's Burgers done. If I can get Golden Girls, Partner will be happier.
Still sad that SeaweedFs didn't work, it was promising for a few years. It is just too difficult to figure out what is wrong with it today.
-
Takes a few days to evacuate a few nodes to find out if GlusterFS will work.
The whole reason I'm trying it out is that I've been fighting getting a good pipeline from the arrs to Jellyfin/Plex. For some reason, the copies have been failing with an "input/output" error since last March. I usually can get it working by remounting the FUSE drive or having to reboot the machine, but it seems to be get steadily worse and it keeps littering the system with size 0 files when the copy fails (and I can't replace the arrs' version of copying to use something more toleranant).
I told Partner that if I couldn't figure it out by the first of the year, I would try something else. Obviously, I could go back to Ceph which continues to have all the features I want but also has an obscenely higher maintenance load but I thought GlusterFS might be lower level despite it having an requirement I'm really not fond of (my media replicates twice so I have to add two identical size drives at a time as opposed to Ceph/Seaweed which can have disparate volume sizes and scatter them as appropriate).
If I can't get GlusterFS, I'll probably go back to Ceph and see how painful it is to set up in NixOS again. Things look like they have changed in the last few years, so it might be viable but as I said, it's a lot of maintenance.
-
After experiments at home it is now time to introduce #terramaster Debian-based bricks at work within our #glusterfs storage to start migrations to new storage appliances. Here we go, the first 200TB of brick is served to tuneup and healing...
https://lovergine.com/installing-debian-on-a-usb-stick-for-a-terramaster-nas.html
-
Несмотря на всю мою симпатию к #glusterfs и опыт, в моём случае она не выдерживает проверку геораспределением и небольшой, но постоянной нагрузкой. Уже были пара вопросов с небыстрым обновлением файлов, а сегодня словил один файл, который даже удалить нельзя, если не размонтировать volume.
Многостраничный тюнинг не спасает ситуацию и есть шанс, что для небольшого кластерка буду искать что-то другое, но более устойчивое. :)
-
According to #proxmox #GlusterFS is unmaintained.
reference: https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_9.0 -
Anyone with some deep magic related to #glusterfs #gluster ???
I have 1500 odd files that won't heal on one of my 2 bricks in the cluster.
-
Es ist 2025 und #GlusterFS kann immer noch kein #IPv6? m(
-
What's peoples opinion on #GlusterFS for #homelabbing?
#homelab #selfhosting #selfhost #foss #kubernetes -
Thinking about that "Scale" part in the product name of #TrueNAS Scale.
What are the plans of the vendor to make the scale after they decided to not use #GlusterFS for that purpose. With #Ceph maybe?
-
Is GlusterFS Facing Its Final Curtain Call in Fedora Linux?
The future of GlusterFS hangs in the balance as Fedora stakeholders reignite debates over its retirement. With dwindling upstream activity and a significant decline in contributions, the scalable netw...
https://news.lavx.hu/article/is-glusterfs-facing-its-final-curtain-call-in-fedora-linux
-
Seriously considering ditching #GlusterFS and writing my own Rube Goldberg machine to sync container files between hosts, since I'm manually allocating which containers are running on which hosts anyway. It's sooo slooow... 😩
-
Premières briques montées pour un projet de #CHATONS -> https://www.quercylibre.fr
Ça tourne sur des RPI3 avec #Docker #swarm #traefik en reverse-proxy et des clés USB chiffrées agrégées avec #glusterfs
-
In this guide, I will try to explain how to set up a Docker Swarm system that is completely highly available
https://hostlab.tech/blog/docker-swarm-ha
#docker #dockerswarm #haproxy #nginxproxymanager #portainer #glusterfs #tutorial #opensource
-
So … my video #surveillance container depends on a mounted #SMB share.
This SMB share is configured as SPoF.With all servers auto-restarting after an upgrade at exactly 4:15 all hell gets loose, and the surveilance container won't mount, as it restarted faster than #Samba can.
The Samba VM runs on #Ceph #Rados-disks.
Linux doesn't have a compelling shared-nothing clustered filesystem anymore, now that #RedHat lost interest in #GlusterFS?
-
@sebsauvage peut-être un peu à la marge pour ton besoin mais je le mets quand même : #glusterFs. A la base c'est pour faire du RAID à partir de disques hétérogènes mais il s'exporte directement en réseau via plusieurs protocoles (smb, NFS, ...) dont un natif que tu peux 'mounter' sur les clients : https://docs.gluster.org/en/latest/Administrator-Guide/Setting-Up-Clients/
J'ai un répertoire partagé comme ça qui fonctionne nickel depuis des années... -
Resolution of at a least some of this issue... Having nfs-kernel-server export glusterfs seems to be part of the issue. Switching to nfs-ganesha fixed the errors on my Linux client and seems to have made some of the errors go away on MacOS, esp the worst ones, like copying a file but it's 0 bytes afterwards.
-
Up next in my series on how and what I #SelfHost: #Storage
I've talked about my #UnRaid server before, my VMs run on there. The built-in docker is added to my Docker Swarm, so it gets assigned containers from the swarm to run.
I also run a #GlusterFS cluster of 3 nodes across the two laptop SSDs (plus one arbiter VM). I run things like my Docker Registry backed onto Gluster, so the images are still available if any one node is down. Overall, I find Gluster slow, and its broken on me a couple times, but it does what I need it to do.
Ultimately, if a docker container requires storage, it will usually get Gluster (and the container run on the laptops), unless it has special IO requirements. Things like SQLite databases will corrupt themselves on Gluster or NFS. So I use deployment placement constraints to hold some docker workloads on my UnRaid server.
In the past, I ran containers anywhere, and they would volume-mount NFS or CIFS to UnRaid, but I ran into a "Stale File Handle" problem -- where containers would randomly have their volumes fail under them, and it would corrupt databases, leave processes stuck in IOWait, etc. No matter what I did, what protocol I used, etc, it would always eventually have problems.
I also run #GarageHQ S3 on my UnRaid server, though I haven't found a great use for it yet. I really want to run #WeedFS, as I like the design and architecture, but likewise haven't found a use case.
🏷️ #SelfHosting
-
@ij Ein Problem zu dem ich nie ein zufriedenstellende Lösung gefunden habe.
Evaluiert habe ich #tahoelafs #glusterfs #ceph #ipfs und ein paar andere noch. Alles hatte vor und Nachteile und war aber nie zu 100% passend für mich.
Als Verwaltung Software habe ich auch mal #openmediavault getestet, da es mit LFC und share folders unter #proxmox klar kommt, aber auch das ist nicht so perfekt wie erhofft. -
For a new e-mail cluster that will eventually consist of a number of #IMAP servers, I need some shared storage that all servers can read from and write to at the same time. I have some experience with #DRBD, but I was told that DRBD isn't going to be the solution for what I want.
It will start small, with only several hundreds of mailboxes, but it should be able to scale up to many thousands or even hundreds of thousands in the distant future. What I want is a variable number of #Dovecot servers with an HA Director in front of them, so that I can upgrade and reboot individual nodes without users noticing.
#NFS would -on paper- be ideal, but when working with lots and lots of small files it gets very slow. #ZFS is pretty cool, but that wasn't designed as a cluster filesystem and I'm not sure if it can be made to do that reliably. I find #GlusterFS and #GFS2 in many articles, but I don't have any experience with those. I have a bit of experience with #Ceph, just enough to know that I don't want that.
What do you guys think, what is the system I should go for? And, or course, why? Did I overlook systems that are worthwhile? -
For a new e-mail cluster that will eventually consist of a number of #IMAP servers, I need some shared storage that all servers can read from and write to at the same time. I have some experience with #DRBD, but I was told that DRBD isn't going to be the solution for what I want.
It will start small, with only several hundreds of mailboxes, but it should be able to scale up to many thousands or even hundreds of thousands in the distant future. What I want is a variable number of #Dovecot servers with an HA Director in front of them, so that I can upgrade and reboot individual nodes without users noticing.
#NFS would -on paper- be ideal, but when working with lots and lots of small files it gets very slow. #ZFS is pretty cool, but that wasn't designed as a cluster filesystem and I'm not sure if it can be made to do that reliably. I find #GlusterFS and #GFS2 in many articles, but I don't have any experience with those. I have a bit of experience with #Ceph, just enough to know that I don't want that.
What do you guys think, what is the system I should go for? And, or course, why? Did I overlook systems that are worthwhile? -
Hosting one domain on multiple servers
https://etam-software.eu/blog/2021-09-30-hosting-one-domain-on-multiple-servers.html
#linux #glusterfs #csync #powerdns #letsencrypt #systemd -
#Nextcloud conference talk: @[email protected] #SpectrumScale - Real-time notification to Nextcloud using clustered Watch #GlusterFS
https://www.youtube.com/watch?v=vwqOakNCwl0&list=PL4eBKdNy6FCFXWeOv7aehwmjxp5f-6RXp&index=5&t=2070s -
#Nextcloud conference talk: @[email protected] #SpectrumScale - Real-time notification to Nextcloud using clustered Watch #GlusterFS
https://www.youtube.com/watch?v=vwqOakNCwl0&list=PL4eBKdNy6FCFXWeOv7aehwmjxp5f-6RXp&index=5&t=2070s -
Software Defined Storage And Object Storage In The Era Of Cloud And IoT #ObjectStorage #SoftwareDefinedStorage #SDSS #Cloud #IoT #InternetOfThings #CAPTheorem #Swift #OpenStack #Ceph #Redhat #Gluster #GlusterFS
https://www.ostechnix.com/software-defined-storage-and-object-storage-in-the-era-of-cloud-and-iot/
