#sitemap — Public Fediverse posts

Как быстро загнать страницу в индекс Яндекса — и почему для Алисы AI этого мало

Новую страницу в поиске Яндекса не видно, пока её не обошёл робот. Пока страницы нет в индексе (базе поиска), её не будет ни в обычной выдаче, ни в ответе Алисы AI. Алиса опирается на источники, которые высоко стоят в поиске, это прямо написано в документации Вебмастера . Дальше — конкретная последовательность: что отдать роботу вручную, что настроить один раз, как проверить статус и где в Метрике смотреть отдачу. Ускорение индексации — управляемая история: переобход, IndexNow, sitemap реально сокращают время до попадания в базу. А вот топ-10 и цитирование в ответе Алисы — отдельная работа над содержанием страницы, индексация только открывает туда дверь.

https://habr.com/ru/articles/1065514/

#индексация #ЯндексВебмастер #IndexNow #sitemap #Алиса_AI #AEO #GEO #AIвидимость #нейропоиск #переобход

SEO‑поиск в Next.js App Router, индексируемые landing pages из фильтров и URL

Поиск в Next.js App Router связывает несколько механизмов — Server Components, dynamic routes, searchParams , metadata и клиентские фильтры. Если в проекте одна форма и несколько результатов, состояние можно держать в useState . В каталоге или агрегаторе каждый фильтр меняет URL, набор данных и правила индексации. В статье на примере учебного проекта EventMap — агрегатора событий, разберем, как спроектировать систему фильтрации, которая генерирует чистые, индексируемые URL для поисковых роботов и обновляет выдачу при изменении фильтров. Страницы вроде «Концерты в Москве» или «Выставки в Петербурге» могут работать как отдельные landing pages. Для них нужны серверный HTML, постоянный URL, свой title , description , h1 , canonical и отдельная политика index или noindex . Произвольные запросы, сортировки и глубокая пагинация остаются частью поиска и не попадают автоматически в индекс. Поиск построен через App Router, optional catch‑all route, серверный рендер результатов и общий набор функций для URL, metadata, canonical и sitemap. Поиск по каталогу создаёт отдельное состояние для каждой комбинации фильтров. Категория, город, дата, сортировка, поисковая строка и номер страницы попадают в URL. При десяти категориях, пятидесяти городах и пяти вариантах сортировки получается 2500 комбинаций без учёта пагинации и свободного текста. Интерфейс должен обработать все допустимые комбинации. В поисковый индекс обычно попадает только часть из них. Страница категории music , страница города london и сочетание music/london могут содержать устойчивую подборку. Запрос ?q=free+jazz+tonight , сортировка по цене и восьмая страница выдачи относятся к текущему действию пользователя. Фильтры без отдельной политики создают большое пространство URL. Google описывает эту проблему в документации по faceted navigation. Изменение каждого параметра создаёт новый адрес, краулер тратит запросы на многочисленные комбинации и позже обнаруживает, что многие из них не содержат самостоятельного материала. ( Google for Developers )

https://habr.com/ru/articles/1063570/

#nextjs #seo #typescript #react #javascript #app_router #server_components #canonical #sitemap #noindex

Почему Google не индексирует страницы, хотя технически всё в порядке

У меня есть сайт на Next.js. Часть страниц индексируется почти сразу. Часть застряла в статусе «Обнаружено, не проиндексировано» уже две недели. Самое неприятное в том что все страницы технически одинаковые. Тот же фреймворк, тот же сервер, тот же sitemap. Расскажу, как я перебирал гипотезы одну за другой, и что в итоге осталось. Читать разбор

https://habr.com/ru/articles/1052898/

#google #seo #googlebot #sitemap #sitemapxml #robotstxt #searchconsoler #nextjs #caching

Sitemap-first аудит большого сайта: как найти пустые посадочные без полного краулинга

Есть привычная ошибка в техническом аудите больших сайтов: открыть краулер, поставить лимит побольше и просканировать всё. На сайте в пару тысяч страниц это работает. На сайте с семизначным инвентарём URL — нет. Полный краул упирается в память, диск, сетевые таймауты, rate limit, JavaScript-рендеринг, дубли, параметры, бесконечные фасеты и в то, что через двое суток вы получаете таблицу на миллионы строк, которую всё равно придётся сегментировать с нуля. Поэтому я начинаю не с краулера. Я начинаю с sitemap. В статье показываю sitemap-first подход: как скачать sitemap graph, превратить URL в датасет, разобрать слаги на смысловые группы, сматчить паттерны со спросом, найти пустые посадочные, проверить рендеринг и потом подтвердить гипотезы через GSC, Яндекс.Вебмастер, Метрику и серверные логи.

https://habr.com/ru/articles/1049136/

#SEO #technical_SEO #sitemap #crawl_budget #JavaScript_SEO #рендеринг #Google_Search_Console #ЯндексВебмастер #логи_сервера #индексация

SEO-админка для большого каталога: sitemap, robots, мета-превью и тревоги поисковиков в одном месте

Рассказываю, как мы собрали SEO-панель для динамического каталога: sitemap, robots.txt, мета-превью, RSS, диагностика и переобход в одном интерфейсе. Без секретов и полного кода, но с архитектурой и граблями продакшена.

https://habr.com/ru/articles/1043402/

#SEO #sitemap #robotstxt #IndexNow #Nextjs #FastAPI #PostgreSQL #админка #поисковые_системы #техническое_SEO

Пять неочевидных вещей, которые я узнал, запуская кино-соцсеть: от robots.txt-ловушки до 24-мерной математики вкуса

Последние полгода я работаю над VibeMuvik — кино-соцсетью с рецензиями, дебатами и синхронным просмотром фильмов. Одна из тех штук, которые «ну вроде несложно», пока не начинаешь копать. Эта статья — про неожиданные находки . Не про «как я выбрал стек» (скучно) и не про «туториал по WebRTC» (и без меня есть). Это пять ситуаций, в которых я споткнулся, обнаружил что-то интересное, и подумал «об этом стоит рассказать — другим пригодится». Поехали.

https://habr.com/ru/articles/1027876/

#robotstxt #SEO #WebRTC #Nextjs #IndexNow #sitemap #Googlebot #Cinema_DNA #синхронный_просмотр #рекомендательные_системы

#Development #Launches
Is Your Site Agent-Ready? · Scan your website for agent-friendly standards https://ilo.im/16c93a

_____
#Website #AI #Agents #MCP #Commerce #Content #RobotsTxt #Sitemap #WebDev #Frontend

#Development #Launches
Your 404 page has a blind spot · When AI agents crash into blank walls https://ilo.im/16beuw

_____
#Business #SEO #Sitemap #Website #AI #Agents #Error404 #OpenSource #WebDev #Frontend

In #Wikipedia steht die Antwort möglicherweise. Es dauert aber, herauszufinden, in welchem Artikel, Listenartikel oder Unterartikel. Die #Suche von Wikipedia verwendet zwar #ElasticSearch, aber um die Vorteile von dieser starken Engine auch zu erhalten, hätten 100000e Menschen, die Wikipedia-Artikel auch verschlagworten müssen (#wikidata). Ausserdem kann es sein, dass etwas so praktisches wie formatstrings als #unenzyklpädisch eingestuft wurde und daher entfernt.

In #Stackexchange muss ich mehrfach bestätigen, dass ich ein Mensch bin, finde dann einen Artikel, der unbeantwortet geschlossen wurde, weil #Duplikat. Dann zwei veraltete, die inzwischen falsch sind, dann welche mit einem nicht mehr funktionierenden link auf die Lösung.

Bei #archive_org, archive.is und #AnnasArchive muss ich die #URL des gesuchten Artikels wissen, um suchen zu können.

Eine #Suchmaschine sucht nicht. Eine Suchmaschine liest die "Sutemap.XML" Dateien aus, die websitebetreiber online stellen für die #crawler der Suchmaschinen. Ich finde also fünf Jahre alte Artikel auf Websites die seit fünf Jahren nicht mehr gepflegt werden. Und maximal ein jahr alte Artikel, die meine Frage nicht beantworten aber in der #sitemap stehen. Die 100 Websites, die die richtige Antwort in einem zwei bis vier Jahre alte Artikel enthalten, finde ich nicht, weil diese Artikel nicht mehr in der sitemap stehen.

Die GPTbots haben Wikipedia, stackexchange, Archiv.org, Annas archive und alle Websites gescrapt und dabei #robots.txt und sitemap ignoriert. Ich bekomme die richtige Antwort und zwar schneller als mit allen zuvor genannten Varianten.

Oder ich suche in #Grokipedia. Grokipedia besteht aus 1Million statischen seiten im #CDN von #Cloudflare die von wikipedia gescrapt wurden. Die suche ist ein GPTbot und 57mal besser als die suche in wikipedia.

@malteengeler @awinkler @evawolfangel @bkastl @Raymond @wikipedia

I am thinking to a new JSON/YAML-based format of the classic #sitemap
https://monastic.neocities.org/site.json

site.json
---
version: 0.1.0 # spec. version
name: "Your site name"
socials:
- https://www.linkedin.com/in/laravista/
- https://techhub.social/@laravista
following:
- https://monastic.neocities.org/site.json
contents:
- url: https://monastic.neocities.org
- url: https://monastic.neocities.org/?c=docs/index.md
- url: https://monastic.neocities.org/?c=docs/installation.md
- url: https://monastic.neocities.org/?c=docs/local_server.md

Как настроить SEO в Next.js так, чтобы проект реально индексировался

Многие проекты на Next.js сталкиваются с тем, что их потенциал в поисковой выдаче остаётся нереализованным: страницы индексируются неполностью, метаданные дублируются, структурированные данные отсутствуют, а ссылки в социальных сетях отображаются некорректно. Разработчикам приходится вручную собирать решения из разрозненных источников, что приводит к ошибкам и мешает формировать устойчивый органический трафик. В данной статье рассмотрены ключевые аспекты настройки SEO в проектах на Next.js: работа с метаданными, генерация sitemap и robots.txt, оптимизация изображений и внедрение структурированных данных.

https://habr.com/ru/articles/966214/

#Nextjs #SEO #sitemap #оптимизация_сайта #вебразработка #frontend

What easy is implement a #sitemap on #jekyll project. I spend more time creating the Pull request than implement the sitemap hahaha
#ruby #blog

20 years old
I was looking about some of the dark corners of this site last night and discovered that my first blog or 'plog' entry was dated 18-10-2005  - nearly 20 years ago! Back then i was still living in London, was about to release my first collection of poems '27 Watt' and started the website as a place to publish new poems and thoughts. I hoped a few people would wander by..
https://www.forkword.com/plog/2025/09/17/20-years-old/
#poetry #sitemap

How To Submit a Sitemap XML to Bing Search Engine? 🚦🔍🗺 https://www.youtube.com/watch?v=tj6kAllm0FY 🎬 #Submit #Sitemap #XML #Bing #Search

🌍🔍 How To Submit Your Sitemap to Yandex Webmaster Tools | Full SEO Tutorial (2025) https://www.youtube.com/watch?v=J1eggmrvtb8 🎬 #Submit #Sitemap #Yandex #Webmaster #SEO

🔍📄 How To Find Your WordPress Website Sitemap | Complete SEO Guide https://www.youtube.com/watch?v=SKNQzIJxnzM 🎬 #WordPress #Website #Sitemap #Guide

🗺️ Broken Sitemap = Lost SEO Opportunities!
This script checks all URLs in your sitemap and flags broken or redirected pages. 🚀

#SEO #Sitemap #GoogleSheets

🗺️ Broken Sitemap = Lost SEO Opportunities!
This script checks all URLs in your sitemap and flags broken or redirected pages. 🚀

#SEO #Sitemap #GoogleSheets

#Design #Tools
Octopus · A sitemap generator, visualizer, and planner https://ilo.im/162f96

_____
#Business #SEO #Sitemap #Navigation #Content #Website #WebDesign #Development #WebDev #Frontend

And another #question for my #Emacs friends out there.

Is there a way to add my custom CSS to the auto-generated #sitemap whrn publishing to HTML my #OrgMode project?

I added the html-head option to the publishing file but the style tag is not added.
Am I missing something?

#Business #Guides
The modern guide to robots.txt · How to use it avoiding the pitfalls https://ilo.im/1613va

_____
#SEO #AI #Robots.txt #UserAgents #Bots #Sitemap #Development #WebDev #Frontend #Backend

🚀 ¡Optimiza tu web con un Sitemap! Descubre cómo mejorar tu SEO y facilitar la navegación. 🕵️‍♂️🔍 ¡Haz clic y aprende más! #SEO #Sitemap #WebMaster https://www.actualidadiphone.com/sitemap/

Damit mein #mastodon besser läuft habe ich jetzt noch einen #sitemap Generator gebaut, bzw einen bestehenden containerisiert.

Vielleicht braucht den jemand ...

https://gitlab.fami.ga/misc/mastodon-sitemap

#docker

The Basic SEO plugin works

Schema.org markup, Open Graph meta-data and XML sitemaps are important for the performance of a website on search engines and social media.

It is easy to install some large plugin like Yoast SEO to do this, while also loading your site with a million other functions that you might or might not want.

I decided to make a minute plugin to just do Schema.org and Open Graph, and I’m quite content because it works.

#openGraph #schema #seo #sitemap

https://plugins.seindal.dk/?p=17485