#opslife — Public Fediverse posts

Dnes si hrajeme na softwarového archeologa.

Klient potřeboval na moderní systém dostat 10 let starou binárku s 10 let starými závislostmi.

V konteneru jsem tedy ze CentOS 7 vytahal staré statické knihovny a na modermí distribuci to v kontejneru moderní distribuce zkompiloval do jedné statické binárky.

Teď nevím, jestli na to mám být pyšný, nebo se stydět.

#opsLife

Dnes si hrajeme na softwarového archeologa.

Klient potřeboval na moderní systém dostat 10 let starou binárku s 10 let starými závislostmi.

V konteneru jsem tedy ze CentOS 7 vytahal staré statické knihovny a na modermí distribuci to v kontejneru moderní distribuce zkompiloval do jedné statické binárky.

Teď nevím, jestli na to mám být pyšný, nebo se stydět.

#opsLife

Mam takový pocit, že se nám ten kus kódu nějak vymknul z kontroly.

#opsLife

Pro generování wildcard certifikátů a LetsEncrypt používáme u klientů acme-dns. Obvykle máme vlastní server, ale u jednoho klienta jsem připravil záznam ve veřejném acme-dns.io

Mám podezření, že po nějaké době neaktivity se registrace z veřejného acme-dns.io smažou.

#opsLife

Nasazujeme u klienta aplikaci nad ZFS, protože to má pěkné vlastnosti - zejména co se zálohovaní datasetů týče.

Jenže v zadání bylo, že to má běžet u Hetznera, kde není podpora pro vlastní image VM a výchozí image je není se ZFS.

Naštěstí neexistuje tak divoká věc, aby nebyla na GitHubu. Někdo napsal dlouhý shell skript, který se připojí k disku existující instance a přeinstaluje na ZFS. Oceňuji pěknou práci se shellem.

https://github.com/terem42/zfs-hetzner-vm/tree/master

#opsLife

Nasazujeme u klienta aplikaci nad ZFS, protože to má pěkné vlastnosti - zejména co se zálohovaní datasetů týče.

Jenže v zadání bylo, že to má běžet u Hetznera, kde není podpora pro vlastní image VM a výchozí image je není se ZFS.

Naštěstí neexistuje tak divoká věc, aby nebyla na GitHubu. Někdo napsal dlouhý shell skript, který se připojí k disku existující instance a přeinstaluje na ZFS. Oceňuji pěknou práci se shellem.

https://github.com/terem42/zfs-hetzner-vm/tree/master

#opsLife

…and will be yours (he says while updating his CV)

#TechMeme #DevOps #OpsLife #Kubernetes #OnCallLife #DevOooops

…and will be yours (he says while updating his CV)

#TechMeme #DevOps #OpsLife #Kubernetes #OnCallLife #DevOooops

Právě jsem zneužil privátní kopii ntfy.sh tak divokým způsobem, až přemýšlím, že o tom udělám přednášku. Pracovní název je zatím: "Tohle doma nezkoušejte - díl první"

#opsLife

Právě jsem zneužil privátní kopii ntfy.sh tak divokým způsobem, až přemýšlím, že o tom udělám přednášku. Pracovní název je zatím: "Tohle doma nezkoušejte - díl první"

#opsLife

🔍 Tech Tip Thursday

If you inherit a server, do this first:
- List running services
- Identify owners (or admit there aren’t any)
- Document before touching anything

Future you will be grateful.

#TechTipThursday #Linux #SysAdmin #OpsLife

🔍 Tech Tip Thursday

If you inherit a server, do this first:
- List running services
- Identify owners (or admit there aren’t any)
- Document before touching anything

Future you will be grateful.

#TechTipThursday #Linux #SysAdmin #OpsLife

Our Gitlab CI pipeline using a JWT token broke.
I added `sleep 5` to the pipeline and everything started working, for now.

I suspect broken timings between Gitlab, Gitlab Runner and Hashicorp Vault, but I can't find it yet.

Conclusion: `sleep` is the new ctrl+alt+del.

#opsLife #devOpsDiary

I just sent a colleague the instructions in the file named go-away.md

Is it my fault that the software has such a funny name?

#opsLife #NetOpsLife

🧭 Lighthouse Lore — 1224Z
While others slept, the tower shipped.
Kernel renewed. Systems steady.
No downtime. No drama. No excuses.

This is how you build trust in the dark:
quiet maintenance, boring graphs, and a light that never goes out.
Entrepreneurship isn’t noise — it’s reliability. 🌊⚓

#LighthouseLore #SelfHosting #MastodonAdmin #Fediverse
#Bootstrapped #IndieInfrastructure #Reliability #OpsLife

🧭 Lighthouse Lore — 1224Z
While others slept, the tower shipped.
Kernel renewed. Systems steady.
No downtime. No drama. No excuses.

This is how you build trust in the dark:
quiet maintenance, boring graphs, and a light that never goes out.
Entrepreneurship isn’t noise — it’s reliability. 🌊⚓

#LighthouseLore #SelfHosting #MastodonAdmin #Fediverse
#Bootstrapped #IndieInfrastructure #Reliability #OpsLife

Kolega dnes strávil den u klienta tím, že vymýšlel, jak implementovat standardní mantru: „Zkoušeli jste to vypnout a zapnout?“

Vypadá to nadějně, už umí problémovou součástku vypnout. Zítra ji bude zkoušet zapínat.

#opsLife #MělJsemSeLépeUčit

Drazí kolegové,
budeme pěstovat slušnou mluvu. Místo toho, co bychom řekli: "Kterej kikot to nastavoval", okomentujeme "Opravdu by mne zajímal ten příběh, za takovým odvážným nastavením..."

#opsLife #klientMaVypadek

Nutím v práci kolegy, aby k projektu do README napsali jednu větu, co ten projekt dělá a dvě věty, jak se to dá spustit. Kolegové občas brblají, ale snažíme se to držet.

Včera jsme přebírali projekt od větší (a dražší) agentury a popis, jak spustit projekt neměli.

Při přebírání se zjistilo, že vlastně neví, jak se projekt spouští a že to nejde spustit jinde než u jejich vývojáře na laptopu. 🤦

#melJsemSeLepeUcit #opsLife #jaJsemVamToRikal

Zmigrovali jsme u klienta legacy aplikaci na nové místo. Nikdo od klienta nechce novou otestovat.

Dobře, tak vyberu dobrovolníka klasickým skautským způsobem. Starou aplikaci vypneme a počkám si, kdo se první ozve, že mu nic nefunguje - ten bude testovací dobrovolník.

#extremeOperations #opsLife #garbageInGarbageOut #melJsemSeLepeUcit

you bump the ec2 because you need more ram. you bump the swap because you have more ram. you bump the disk because you need more swap. and everyone is all "why is this taking you so long?"
#opslife

you bump the ec2 because you need more ram. you bump the swap because you have more ram. you bump the disk because you need more swap. and everyone is all "why is this taking you so long?"
#opslife

Nothing like ending your day with accidentially running git clean -fdx and thereby deleting your local only tfstate for your homelab... guess I can finally move to OpenTofu since I need to reimport all the resources anyways 🤷‍♂️

#homelab #terraform #opentofu #ohNo #fail #opsLife #devops

Nothing like ending your day with accidentially running git clean -fdx and thereby deleting your local only tfstate for your homelab... guess I can finally move to OpenTofu since I need to reimport all the resources anyways 🤷‍♂️

#homelab #terraform #opentofu #ohNo #fail #opsLife #devops

Testujeme s kolegy VPN server Netbird.
Kolega 1: „Dá se k tomu lehce připojit. Má to pěkné rozhraní”
Věroš: „Ale neposílá to žádný síťový provoz”
Kolega 2: „... což je u VPN serveru dost podstatná závada.”

#MareckuPodejteMiPero #opsLife

Stages of printer/network troubleshooting:

1. This should work
2. Why doesn't this work?
3. Oh, I see the problem
4. How did this ever work in the first place?

#OpsLife

Stages of printer/network troubleshooting:

1. This should work
2. Why doesn't this work?
3. Oh, I see the problem
4. How did this ever work in the first place?

#OpsLife

Přesvědčil jsem u klienta jedno Ubuntu ve vmware, aby jeho cloud-init načítal guestdata.

Doufám, že nic divočejšího mne už tento týden nečeká.

#opsLife

Reminded again of the canonical rule of admin support: "First, take a backup."

#OpsLife

Reminded again of the canonical rule of admin support: "First, take a backup."

#OpsLife

The advantage of CoreOS is that it updates itself.
The disadvantage is that it updates itself.

We had a problem with a client's CoreOS machine and before I could get to fix it, the machine had magically updated and fixed itself.

#fedoraCoreOs #opsLife #devops

TIL: There is probably breaking change in Ansible core 2.13 in ansible.builtin.env lookup concerning undefined variables.

According to https://docs.ansible.com/ansible/latest/collections/ansible/builtin/env_lookup.html

Old Ansible:
'{{ lookup("env", "CI_PIPELINE_IID") | default("local") }}'

New Ansible:
'{{ lookup("env", "CI_PIPELINE_IID", default="local") }}'

Older version in new Ansible returns empty string even when the variables is not defined.

#opsLife #ansible

Končí vývoj open source Grafana OnCall.

https://grafana.com/blog/2025/03/11/grafana-oncall-maintenance-mode/

Škoda, tohle bylo hodně zajímavé.

#opslife

Dobrá zpráva: AWS Coudfront umí logovat v JSONu a Parquetu. Volejte sláva a tři dny se radujte!
https://aws.amazon.com/about-aws/whats-new/2024/11/amazon-cloudfront-log-formats-destinations-access/

Méně dobrá: Terraform / Tofu provider to zatím neumí zapnout.
https://github.com/hashicorp/terraform-provider-aws/issues/40925

Ale zkouším to a JSON log je cool.

#OpsLife

Gitlab v Gitlab CI před pár lety plánoval allowlist - CI joby z jednoho projektu měly mít povolený přístup do jiného projektu.

Tehdy jsme to obcházeli dost divoce, ale dnes jsem to potřeboval znova.

Viditelně to už naimplementovali.
https://docs.gitlab.com/ci/jobs/ci_job_token/#add-a-group-or-project-to-the-job-token-allowlist

Volejte sláva a tři dny se radujte!

#opsLife #odbornyPindy #gitlab

Kafe je fajn, ale výpadek databáze v 6:30, to je panečku nakopávač. 🙄

#opslife #MělJsemSeLépeUčit

My colleague and I are working on a project: "We should probably write this knowledge down somewhere. If I get hit by a tram, this note will come in handy."

I guess I shouldn't explain things.

https://en.wikipedia.org/wiki/Bus_factor

#opsLife

Nechal jsem Copilota, ať mi vysvětlí chybu v shellovém skriptu.

Nejen, že mi chybu našel (chyběl mi `fi` k `if`), ale ještě navrhl, ať ten vícenásobný `if` / `elif` přepíšu na `case`.

Nemůžu se rozhodnout, jestli mi stroje seberou, nebo zjednoduší práci.

#opsLife #pracovniSobota

Nechal jsem Copilota, ať mi vysvětlí chybu v shellovém skriptu.

Nejen, že mi chybu našel (chyběl mi `fi` k `if`), ale ještě navrhl, ať ten vícenásobný `if` / `elif` přepíšu na `case`.

Nemůžu se rozhodnout, jestli mi stroje seberou, nebo zjednoduší práci.

#opsLife #pracovniSobota

Eieiei, die Bedingungen rasen aber heute wieder.... #opslife

Eieiei, die Bedingungen rasen aber heute wieder.... #opslife

Už poosmé instaluju akutuální Ubuntu na let starý homelab server. Zatím jsem na tom ztratil myslím víc času, než je cena hardware.

BIOS očekává MBR partitions, ale velmi nové Ubuntu trvá na GPT. Pokud udělám partitioning automaticky, tak udělá obojetně. Pokud zkusím partitioning manuální, tak ho dokonale zmatu.

Já bych všechny ty počítače zakázala.
(foto je ilustrační}

#pastVedlePasti #opsLife

I really like Fedora CoreOS dual root filesystems using ostree.

One of our CI machines was unable to start this morning. I switched to the other ostree and went to sleep again. I can investigate it later - out of the peak hours.

#fedora #coreos #opsLife

Folks who've worked at large SAAS companies, I'm curious to know how long your services took to deploy, especially when you can share the approximate traffic.
From the containers fleet first starting to rotate pods, how long did it take until the new code was everywhere?
I've a service that's doing 100k requests per minute and it can take 15 minutes for everything to gracefully deploy without dropping requests or in flight transactions.
#continuousdelivery #devops #opslife

What a combo, upset stomach and on-call.

PagerDuty: HELLO, YOUR ATTENTION IS REQUIRED
My stomach: BATHROOM NOW PLEASE

Thank goodness for my team. #opslife

GLWTPL License seems to be suitable for miscellaneous playground projects.

https://github.com/me-shaon/GLWTPL/blob/master/LICENSE

The author has absolutely no clue what the code in this project does.

Good Luck With That!

#opsLife

Did I pass my #opslife test, @petecheslock ?! 💙

https://youtu.be/LFYCFfsBfYk?si=C-SnRqxMk3GjSlqk

Thanks for coming in today, buddy. That was a hoot. ✌️

Any sufficiently advanced routing mechanism is indistinguishable from magic.

Having just spend better part of a morning fixing routing issues, I can attest to this.
It wasn't DNS for a change.
#OpsLife #ItsAlwaysDNS

How many times do I need to remind developers that read-replicas are a thing, you don't always need to talk to the writer instance of a #database cluster.
#OpsLife #GetOffMyLawn

I'm having second thoughts about running Postgres-HA on my #k8s #homelab w/out full replica sync (permanent storage via nfs on qnap, Bintami helm chart). Currently, it's quite common thing, that I have this split-brain scenarios around node-failures moments. And the only quick way (w/out half-day investigation) is to restore from backup. Quite frustrating, as problem lays in async, and don't really want to rewind/rewind/rewind forever. #OpsLife #SelfHosted

Yay 4:10am and I have #insomnia again.
But the #pager just went off, so at least that gave me something to do for a few minutes. #OpsLife

Writing runbooks for my Factorio alerts. #OpsLife

So, this week, migrated finally from #Evernote to self-hosted #Joplin. This works so good and fast, wow. I love being able to (finally) have all notes natively in Markdown, have iOS app that opens in 0.1s (and works also that fast) and have e2e encryption (which in my case is not required I serve this only via my own VPN). Next step: teaching my son to use it. #SelfHosted #OpsLife