#opslife — Public Fediverse posts

Nasazujeme u klienta aplikaci nad ZFS, protože to má pěkné vlastnosti - zejména co se zálohovaní datasetů týče.

Jenže v zadání bylo, že to má běžet u Hetznera, kde není podpora pro vlastní image VM a výchozí image je není se ZFS.

Naštěstí neexistuje tak divoká věc, aby nebyla na GitHubu. Někdo napsal dlouhý shell skript, který se připojí k disku existující instance a přeinstaluje na ZFS. Oceňuji pěknou práci se shellem.

https://github.com/terem42/zfs-hetzner-vm/tree/master

#opsLife

…and will be yours (he says while updating his CV)

#TechMeme #DevOps #OpsLife #Kubernetes #OnCallLife #DevOooops

…and will be yours (he says while updating his CV)

#TechMeme #DevOps #OpsLife #Kubernetes #OnCallLife #DevOooops

Právě jsem zneužil privátní kopii ntfy.sh tak divokým způsobem, až přemýšlím, že o tom udělám přednášku. Pracovní název je zatím: "Tohle doma nezkoušejte - díl první"

#opsLife

🔍 Tech Tip Thursday

If you inherit a server, do this first:
- List running services
- Identify owners (or admit there aren’t any)
- Document before touching anything

Future you will be grateful.

#TechTipThursday #Linux #SysAdmin #OpsLife

Our Gitlab CI pipeline using a JWT token broke.
I added `sleep 5` to the pipeline and everything started working, for now.

I suspect broken timings between Gitlab, Gitlab Runner and Hashicorp Vault, but I can't find it yet.

Conclusion: `sleep` is the new ctrl+alt+del.

#opsLife #devOpsDiary

I just sent a colleague the instructions in the file named go-away.md

Is it my fault that the software has such a funny name?

#opsLife #NetOpsLife

🧭 Lighthouse Lore — 1224Z
While others slept, the tower shipped.
Kernel renewed. Systems steady.
No downtime. No drama. No excuses.

This is how you build trust in the dark:
quiet maintenance, boring graphs, and a light that never goes out.
Entrepreneurship isn’t noise — it’s reliability. 🌊⚓

#LighthouseLore #SelfHosting #MastodonAdmin #Fediverse
#Bootstrapped #IndieInfrastructure #Reliability #OpsLife

Kolega dnes strávil den u klienta tím, že vymýšlel, jak implementovat standardní mantru: „Zkoušeli jste to vypnout a zapnout?“

Vypadá to nadějně, už umí problémovou součástku vypnout. Zítra ji bude zkoušet zapínat.

#opsLife #MělJsemSeLépeUčit

Drazí kolegové,
budeme pěstovat slušnou mluvu. Místo toho, co bychom řekli: "Kterej kikot to nastavoval", okomentujeme "Opravdu by mne zajímal ten příběh, za takovým odvážným nastavením..."

#opsLife #klientMaVypadek

Nutím v práci kolegy, aby k projektu do README napsali jednu větu, co ten projekt dělá a dvě věty, jak se to dá spustit. Kolegové občas brblají, ale snažíme se to držet.

Včera jsme přebírali projekt od větší (a dražší) agentury a popis, jak spustit projekt neměli.

Při přebírání se zjistilo, že vlastně neví, jak se projekt spouští a že to nejde spustit jinde než u jejich vývojáře na laptopu. 🤦

#melJsemSeLepeUcit #opsLife #jaJsemVamToRikal

Zmigrovali jsme u klienta legacy aplikaci na nové místo. Nikdo od klienta nechce novou otestovat.

Dobře, tak vyberu dobrovolníka klasickým skautským způsobem. Starou aplikaci vypneme a počkám si, kdo se první ozve, že mu nic nefunguje - ten bude testovací dobrovolník.

#extremeOperations #opsLife #garbageInGarbageOut #melJsemSeLepeUcit

Zmigrovali jsme u klienta legacy aplikaci na nové místo. Nikdo od klienta nechce novou otestovat.

Dobře, tak vyberu dobrovolníka klasickým skautským způsobem. Starou aplikaci vypneme a počkám si, kdo se první ozve, že mu nic nefunguje - ten bude testovací dobrovolník.

#extremeOperations #opsLife #garbageInGarbageOut #melJsemSeLepeUcit

Zmigrovali jsme u klienta legacy aplikaci na nové místo. Nikdo od klienta nechce novou otestovat.

Dobře, tak vyberu dobrovolníka klasickým skautským způsobem. Starou aplikaci vypneme a počkám si, kdo se první ozve, že mu nic nefunguje - ten bude testovací dobrovolník.

#extremeOperations #opsLife #garbageInGarbageOut #melJsemSeLepeUcit

you bump the ec2 because you need more ram. you bump the swap because you have more ram. you bump the disk because you need more swap. and everyone is all "why is this taking you so long?"
#opslife

Nothing like ending your day with accidentially running git clean -fdx and thereby deleting your local only tfstate for your homelab... guess I can finally move to OpenTofu since I need to reimport all the resources anyways 🤷‍♂️

#homelab #terraform #opentofu #ohNo #fail #opsLife #devops

Testujeme s kolegy VPN server Netbird.
Kolega 1: „Dá se k tomu lehce připojit. Má to pěkné rozhraní”
Věroš: „Ale neposílá to žádný síťový provoz”
Kolega 2: „... což je u VPN serveru dost podstatná závada.”

#MareckuPodejteMiPero #opsLife

Stages of printer/network troubleshooting:

1. This should work
2. Why doesn't this work?
3. Oh, I see the problem
4. How did this ever work in the first place?

#OpsLife

Přesvědčil jsem u klienta jedno Ubuntu ve vmware, aby jeho cloud-init načítal guestdata.

Doufám, že nic divočejšího mne už tento týden nečeká.

#opsLife

Reminded again of the canonical rule of admin support: "First, take a backup."

#OpsLife

The advantage of CoreOS is that it updates itself.
The disadvantage is that it updates itself.

We had a problem with a client's CoreOS machine and before I could get to fix it, the machine had magically updated and fixed itself.

#fedoraCoreOs #opsLife #devops

The advantage of CoreOS is that it updates itself.
The disadvantage is that it updates itself.

We had a problem with a client's CoreOS machine and before I could get to fix it, the machine had magically updated and fixed itself.

#fedoraCoreOs #opsLife #devops

The advantage of CoreOS is that it updates itself.
The disadvantage is that it updates itself.

We had a problem with a client's CoreOS machine and before I could get to fix it, the machine had magically updated and fixed itself.

#fedoraCoreOs #opsLife #devops

TIL: There is probably breaking change in Ansible core 2.13 in ansible.builtin.env lookup concerning undefined variables.

According to https://docs.ansible.com/ansible/latest/collections/ansible/builtin/env_lookup.html

Old Ansible:
'{{ lookup("env", "CI_PIPELINE_IID") | default("local") }}'

New Ansible:
'{{ lookup("env", "CI_PIPELINE_IID", default="local") }}'

Older version in new Ansible returns empty string even when the variables is not defined.

#opsLife #ansible

Končí vývoj open source Grafana OnCall.

https://grafana.com/blog/2025/03/11/grafana-oncall-maintenance-mode/

Škoda, tohle bylo hodně zajímavé.

#opslife

Dobrá zpráva: AWS Coudfront umí logovat v JSONu a Parquetu. Volejte sláva a tři dny se radujte!
https://aws.amazon.com/about-aws/whats-new/2024/11/amazon-cloudfront-log-formats-destinations-access/

Méně dobrá: Terraform / Tofu provider to zatím neumí zapnout.
https://github.com/hashicorp/terraform-provider-aws/issues/40925

Ale zkouším to a JSON log je cool.

#OpsLife

Gitlab v Gitlab CI před pár lety plánoval allowlist - CI joby z jednoho projektu měly mít povolený přístup do jiného projektu.

Tehdy jsme to obcházeli dost divoce, ale dnes jsem to potřeboval znova.

Viditelně to už naimplementovali.
https://docs.gitlab.com/ci/jobs/ci_job_token/#add-a-group-or-project-to-the-job-token-allowlist

Volejte sláva a tři dny se radujte!

#opsLife #odbornyPindy #gitlab

Kafe je fajn, ale výpadek databáze v 6:30, to je panečku nakopávač. 🙄

#opslife #MělJsemSeLépeUčit

My colleague and I are working on a project: "We should probably write this knowledge down somewhere. If I get hit by a tram, this note will come in handy."

I guess I shouldn't explain things.

https://en.wikipedia.org/wiki/Bus_factor

#opsLife

Nechal jsem Copilota, ať mi vysvětlí chybu v shellovém skriptu.

Nejen, že mi chybu našel (chyběl mi `fi` k `if`), ale ještě navrhl, ať ten vícenásobný `if` / `elif` přepíšu na `case`.

Nemůžu se rozhodnout, jestli mi stroje seberou, nebo zjednoduší práci.

#opsLife #pracovniSobota

Eieiei, die Bedingungen rasen aber heute wieder.... #opslife

Už poosmé instaluju akutuální Ubuntu na let starý homelab server. Zatím jsem na tom ztratil myslím víc času, než je cena hardware.

BIOS očekává MBR partitions, ale velmi nové Ubuntu trvá na GPT. Pokud udělám partitioning automaticky, tak udělá obojetně. Pokud zkusím partitioning manuální, tak ho dokonale zmatu.

Já bych všechny ty počítače zakázala.
(foto je ilustrační}

#pastVedlePasti #opsLife

Pojmenovali stroj u klienta Alpaca. Teď mají v chatu spoustu emoji s lamou... 🦙

Píšu si: příště pojmenovávat stroje tak, aby emoji fungovaly i v terminálu.

#opsLife

Spotting the Most Annoying Web Users

We dealt with bots overloading a customer’s server. Standard rate-limiting wasn't an option since usage patterns varied significantly across different page types.

Proof of concept solution: Parse logs in real-time from NGINX into a fast, unlogged PostgreSQL table. This lets us analyze user behavior using standard SQL queries. Now we can easily analyse bot behavior and block problematic users.

Next step: real-time auto-blocking.

#devops #opsLife

Operations confirms that today’s station-wide comms outage was caused by someone asking the computer to “define irony.” ~Lt. GK #BeCarefulWhatYouAsk #OpsLife #StarTrek #BoldlyGo #LLAP #SPO

Good: Gitlab runner image can start jobs as docker containers without docker cli.

Bad: To use credential store, one have to build own image and inclide docker CLI.

Good: It is described in Gitlab's documentation.

Bad: I've found it after two hours of experimenting.

Result: I can use private images during CI jobs now.

#opsLife #devOpsLife #gitlab