#noindex — Public Fediverse posts

Search Engine Journal: OpenAI Says Robots.txt May Not Apply To ChatGPT’s Fetch Bot. “ChatGPT’s page-fetching bot is disallowed by more sites than any other AI bot of its kind. It also reached disallowed pages on more sites than any other bot. OpenAI says robots.txt rules may not apply to it because a person asked for the page.”

RE: https://bookstodon.com/@keith/117085275218189650

En attendant que ça soit bloqué par votre instance, vous pouvez mettre un tag #noindex dans votre bio
Et l'y laisser des fois que.

(Mais j'ai un peu envie de crier.)

‘Robert Louis Stevenson: A Child’s Garden of Verses’ | Go! https://www.allforgardening.com/1924822/robert-louis-stevenson-a-childs-garden-of-verses-go/ #garden #noindex

Weet je nog dat mijn blog "Linux voor een beginner" ineens weg was uit de Google én Bing index? 💥 Of dat ik na vele uren zoeken en uitpluizen eigenlijk nog steeds geen specifieke oorzaak kon aanwijzen? 🤯

Kreeg vandaag (eindelijk) eens een "hint" 💡 van Google Search Console: een URL die 404 geeft. Was een verwijzing naar domein met daar aan vast "/Behalve". Dat woord "Behalve" kwam uit een toot, namelijk een nieuwe zin direct na een URL. Het versterkt bij mij het vermoeden dat ironisch genoeg Mastodon de uiteindelijke veroorzaker was...

Mastodon?! Ja en dan met name dat als je een link deelt deze ineens vanuit vele URLs wordt gelinkt. Vanuit een zoekmachine kan dat als verdacht worden gezien, zeker aangezien het niet in een normale tekst is opgenomen. Als je niet beter zou weten, dan zou je dit associëren met spamgedrag. Dat was/is het natuurlijk niet, maar zo werken "link farms" eigenlijk ook. Kortom, Mastodon is eigenlijk een onbewuste link farm 😱

Kortom, als je een website hebt, wellicht goed monitoren en eventueel een maatregel nemen. Voor de kenners, het magische toverwoord is hier "Disavow". Het signaal afgeven aan de zoekmachine dat verkeer van een dergelijke website genegeerd moet worden.

Iets wijzer geworden? 🔁 deel het woord, want ik ben wel benieuwd of meer mensen dit gedrag ervaren met hun website.

#SEO #Indexproblem #Google #Bing #website #blog #noindex

Карго-культы технического SEO: что robots.txt и sitemap.xml делают на самом деле

Priority и changefreq, которые Google игнорирует. Disallow как «запрет индексации». robots.txt в роли замка для чувствительных данных. Разбираем семь живучих ритуалов вокруг двух старейших файлов технического SEO — и что эти файлы делают на самом деле.

https://habr.com/ru/articles/1067780/

#robotstxt #sitemapxml #техническое_seo #индексация #краулинговый_бюджет #noindex #поисковые_роботы #seo #search_console #яндекс_вебмастер

Search Engine Journal: Indexed Claude Chats Show Why Disallow Is Not Noindex. “Anthropic told TechCrunch that share links will appear in search results only if people post them in accessible locations for crawlers, and that links sent through private messages won’t be indexed…. Google spokesperson Ned Adriance stated that search engines do not determine which pages are made public, and that […]

SEO‑поиск в Next.js App Router, индексируемые landing pages из фильтров и URL

Поиск в Next.js App Router связывает несколько механизмов — Server Components, dynamic routes, searchParams , metadata и клиентские фильтры. Если в проекте одна форма и несколько результатов, состояние можно держать в useState . В каталоге или агрегаторе каждый фильтр меняет URL, набор данных и правила индексации. В статье на примере учебного проекта EventMap — агрегатора событий, разберем, как спроектировать систему фильтрации, которая генерирует чистые, индексируемые URL для поисковых роботов и обновляет выдачу при изменении фильтров. Страницы вроде «Концерты в Москве» или «Выставки в Петербурге» могут работать как отдельные landing pages. Для них нужны серверный HTML, постоянный URL, свой title , description , h1 , canonical и отдельная политика index или noindex . Произвольные запросы, сортировки и глубокая пагинация остаются частью поиска и не попадают автоматически в индекс. Поиск построен через App Router, optional catch‑all route, серверный рендер результатов и общий набор функций для URL, metadata, canonical и sitemap. Поиск по каталогу создаёт отдельное состояние для каждой комбинации фильтров. Категория, город, дата, сортировка, поисковая строка и номер страницы попадают в URL. При десяти категориях, пятидесяти городах и пяти вариантах сортировки получается 2500 комбинаций без учёта пагинации и свободного текста. Интерфейс должен обработать все допустимые комбинации. В поисковый индекс обычно попадает только часть из них. Страница категории music , страница города london и сочетание music/london могут содержать устойчивую подборку. Запрос ?q=free+jazz+tonight , сортировка по цене и восьмая страница выдачи относятся к текущему действию пользователя. Фильтры без отдельной политики создают большое пространство URL. Google описывает эту проблему в документации по faceted navigation. Изменение каждого параметра создаёт новый адрес, краулер тратит запросы на многочисленные комбинации и позже обнаруживает, что многие из них не содержат самостоятельного материала. ( Google for Developers )

https://habr.com/ru/articles/1063570/

#nextjs #seo #typescript #react #javascript #app_router #server_components #canonical #sitemap #noindex

@jvnebnunny @site_admin

There was a dude a few weeks ago who vibe coded an account to automatically share posts across fediverse' without the posters permission, using tags. It was suggested that adding #NoIndex to a users bio would prevent this. Not sure if it worked as the account was quickly blocked on the server I'm on, however I suspect this is the same person.

I put together a list of accounts that are based on the #WestCoast for an early #FollowFriday! Let me know if you want to be added to the list [or removed].

Alissa Azar @alissaazar
Syria📍PDX
Journalist covering police & far-right violence in the PNW • She/They • Antifascist • Neurodivergent

AI6YR Ben @ai6yr
The account of AI6YR Ben, on his own server. Very eclectic selection of posts. Good weather info.

JustBob 🪖🇺🇸♒️️ @bob
The silence is deafening. Always hearing about this country or that one, this group or that one but the silence continues for #homeless people.

Indivisible SF @IndivisibleSF
San Franciscans standing indivisible for a progressive agenda in CA-11 and CA-15.

Led By Gilded Fools @MHowell
White guy living in Indian Country (Suquamish aka Seattle, WA)
#Wilderness, #AntiFacist, #LGBTQ 🏳️‍🌈🏳️‍⚧️ ally, #BLM, #ProChoice, #GunReform #noindex #nobots #noAI

Mungen Cakes ✅️ @Mungencakes
Loose cannon, Fuckstar, the antifa Ray Stevens, #AltText evangelist. Unceded Alsea land.

The Needling @TheNeedling
Seattle's Only Real Fake News (Satire/Parody)

Pete's Mom 🍉 🇺🇦 ☮️ @Petesmom
ANTIFA, ACAB / FUCK ICE
Black Lives Matter! Immigrant Lives Matter! Trans Lives Matter! I believe in DEI! “In diversity there is beauty and there is strength.” - Maya Angelou

Rachael L @rachael
I live in Seattle with my family and work in tech. I'm also disabled (mostly deaf & blind on one side). I ride the bus, walk or bike most of the time and I care a lot about our transportation system working for everyone. This account is for Seattle, urbanism & regional political stuff!

San Francisco Baykeeper @sfbaykeeper
Defending #SFBay & holding polluters accountable since 1989

Seattle Bike Blog @seabikeblog
Pedaling news up Seattle’s hills since 2010.

Youth Liberation Front Seattle @seattleylf
The Seattle Division of the PNWYLF, a collective in an autonomous network of antifascist students and youth [Note: They have not posted in a while.]

#FollowerPower #PNW #California #Oregon #WashingtonState #SeattleWA #SanFrancisco #PortlandOR #PacificCoast

Maison près de l'ascenseur N°1, La Louvière.

" Cette cité sans pittoresque, sans végétation et sans âme finit par sembler reposante, on s’y endort enfin."
Camus, Albert - La Peste

#Art, #dessin, #aquarelle, #watercolor, #lineart, #urbansketcher, #LaLouvière, #régionducentre, #Hainaut, #belgique, #happy #nobot #noindex

Ascenseur N°1 à La Louvière

«Les cendres du monde défunt emportées çà et là dans le vide sur les vents froids et profanes. Emportées au loin et dispersées et emportées encore plus loin. Toute chose coupée de son fondement. Soutenue par un souffle, tremblante et brève. Si seulement mon coeur était de pierre.»
McCARTHY, Cormack - La Route

#Art, #dessin, #aquarelle, #watercolor, #lineart, #urbansketcher, #LaLouvière, #régionducentre, #Hainaut, #belgique, #happy #nobot #noindex

#HolosDiscover currently blocks #Bluesky accounts bridged via #BridgyFed, because AT Protocol has no equivalent to the indexable flag.
The bridge is opt-in, but bridged users cannot signal refusal of third-party indexing.
Standard opt-out mechanisms remain functional: block @HolosDiscover, #nobot or #noindex in bio, mention with "unfollow".

What's your opinion?

@evan more profile tags found in the wild..

Updated #Botiquette issue on Codeberg in #fediverse ideas repo to track this..

https://codeberg.org/fediverse/fediverse-ideas/issues/33#issuecomment-13221306

#nobot #noindex #noarchive #nosearch #nobridge #noai

Should users have to opt-out with #NoBot #NoIndex #NoAI or can we have nice things?

#mastoadmin #moderation

#PSA I plan to sign into https://Zeitgeist.blue on Saturday 4 April to see how it works. This is a new client that uses "bring your own LLM key" as an approach to distill/curate Fediverse timelines. If you want to opt out of any of your posts going through personal LLM inference, please unfollow me and block me by then.

**Update**: you can also add #nobots, #noindex or #noai to your profile and Zeigeist will ignore your posts: https://github.com/seldo/zeitgeist/commit/90b09ad6f683d7059ef4a5c4a3883704a7e71057. I hope you do this instead of blocking me, but both should work :)

I am going to use an Anthropic API key, and my understanding is that your posts would *not* end up in a corpus used for training after I do this; this is inference only, and in principle I will be the only one seeing the results.

If you have any concerns or need an extension for some reason, do reach out! I can also then let you know once I stop using the tool so you can optionally remove the block.

Context: https://www.loomio.com/d/ASGoq9TQ/comment/3334596

@seldo they were not honouring #noindex to begin with.

@chad For what it is worth, the dev of that AI timeline tool says it now supports several ways to stop it.

Zeitgeist now:
* respects the `noindex` preference if set on your account
* respects #noindex or #nobots if those are in your bio
* sends a unique user-agent ("Zeitgeist/1.0") if you want to block the client entirely.

Edit to add: It also says it respects the #noai tag in profile bios as of yesterday:
https://github.com/seldo/zeitgeist/commit/90b09ad6f683d7059ef4a5c4a3883704a7e71057

@maddad @mastodonmigration

Zeitgeist now:
* respects the `noindex` preference if set on your account
* respects #noindex or #nobots if those are in your bio
* sends a unique user-agent ("Zeitgeist/1.0") if you want to block the client entirely.