home.social

#llms-txt — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #llms-txt, aggregated by home.social.

fetched live
  1. Claude Code читает не страницу, а её пересказ: прошёл путь одного запроса по документации Claude

    Совет оптимизировать сайт под Claude смешивает два инструмента Anthropic: Claude и агента Claude Code. Profound снял 24 135 ответов на одних запросах, и у двух инструментов разошёлся почти каждый показатель. Я прошёл по документации путь запроса в обоих инструментах. Для владельца сайта из разбора следуют три вещи: какие боты Anthropic заходят на сайт, что закрыть в robots.txt и как проверить заходы по access-логу.

    habr.com/ru/articles/1082118/

    #Claude #Claude_Code #Anthropic #AIпоиск #robotstxt #llmstxt #ИИкраулеры #WebFetch #GEO #логи_nginx

  2. Claude Code читает не страницу, а её пересказ: прошёл путь одного запроса по документации Claude

    Совет оптимизировать сайт под Claude смешивает два инструмента Anthropic: Claude и агента Claude Code. Profound снял 24 135 ответов на одних запросах, и у двух инструментов разошёлся почти каждый показатель. Я прошёл по документации путь запроса в обоих инструментах. Для владельца сайта из разбора следуют три вещи: какие боты Anthropic заходят на сайт, что закрыть в robots.txt и как проверить заходы по access-логу.

    habr.com/ru/articles/1082118/

    #Claude #Claude_Code #Anthropic #AIпоиск #robotstxt #llmstxt #ИИкраулеры #WebFetch #GEO #логи_nginx

  3. Claude Code читает не страницу, а её пересказ: прошёл путь одного запроса по документации Claude

    Совет оптимизировать сайт под Claude смешивает два инструмента Anthropic: Claude и агента Claude Code. Profound снял 24 135 ответов на одних запросах, и у двух инструментов разошёлся почти каждый показатель. Я прошёл по документации путь запроса в обоих инструментах. Для владельца сайта из разбора следуют три вещи: какие боты Anthropic заходят на сайт, что закрыть в robots.txt и как проверить заходы по access-логу.

    habr.com/ru/articles/1082118/

    #Claude #Claude_Code #Anthropic #AIпоиск #robotstxt #llmstxt #ИИкраулеры #WebFetch #GEO #логи_nginx

  4. 📢 Recensement llms.txt : un tiers des 100 entreprises cyber leaders l'adoptent, avec des écarts de qualité majeurs

    Cet article présente les résultats d'un recensement technique portant sur l'adoption du standard llms.txt parmi les 100 entreprises de cybersécurité les plus influentes selon l'Université de San Diego (liste mise à jour le 21 juillet 2026).

    📖 cyberveille : cyberveille.ch/posts/2026-09-1
    🌐 source : ai.rud.is/posts/2026-09-04-cyb
    🔴 vérification factuelle basse
    #LlmsTxt #AIAgents #Cyberveille

  5. llms.txt just had its first real revision since the September 2024 proposal, and the change worth noting is discoverability.

    v1 never answered a basic question: given a page, how does an agent find its markdown version, or the llms.txt file covering it, without guessing at URLs? v2 answers with link relations: rel="alternate" type="text/markdown" points to the markdown version, rel="describedby" points to the covering llms.txt file, via HTML link elements or an HTTP Link header.

    Two smaller fixes: markdown URLs can now be page.html.md or page.md, since tooling had split on this. Subpaths are defined too - most specific file wins, letting a GitHub Pages project site (controlling only a path) participate at all.

    Bigger shift: the spec drops the llms_txt2ctx context-expansion tool. Agents are now expected to view or search llms.txt and follow links, not have the file pre-flattened into a context blob for them.

    llmstxt.org/changes.html

    #llmstxt #aiseo #webstandards

  6. llms.txt just had its first real revision since the September 2024 proposal, and the change worth noting is discoverability.

    v1 never answered a basic question: given a page, how does an agent find its markdown version, or the llms.txt file covering it, without guessing at URLs? v2 answers with link relations: rel="alternate" type="text/markdown" points to the markdown version, rel="describedby" points to the covering llms.txt file, via HTML link elements or an HTTP Link header.

    Two smaller fixes: markdown URLs can now be page.html.md or page.md, since tooling had split on this. Subpaths are defined too - most specific file wins, letting a GitHub Pages project site (controlling only a path) participate at all.

    Bigger shift: the spec drops the llms_txt2ctx context-expansion tool. Agents are now expected to view or search llms.txt and follow links, not have the file pre-flattened into a context blob for them.

    llmstxt.org/changes.html

    #llmstxt #aiseo #webstandards

  7. llms.txt just had its first real revision since the September 2024 proposal, and the change worth noting is discoverability.

    v1 never answered a basic question: given a page, how does an agent find its markdown version, or the llms.txt file covering it, without guessing at URLs? v2 answers with link relations: rel="alternate" type="text/markdown" points to the markdown version, rel="describedby" points to the covering llms.txt file, via HTML link elements or an HTTP Link header.

    Two smaller fixes: markdown URLs can now be page.html.md or page.md, since tooling had split on this. Subpaths are defined too - most specific file wins, letting a GitHub Pages project site (controlling only a path) participate at all.

    Bigger shift: the spec drops the llms_txt2ctx context-expansion tool. Agents are now expected to view or search llms.txt and follow links, not have the file pre-flattened into a context blob for them.

    llmstxt.org/changes.html

    #llmstxt #aiseo #webstandards

  8. llms.txt just had its first real revision since the September 2024 proposal, and the change worth noting is discoverability.

    v1 never answered a basic question: given a page, how does an agent find its markdown version, or the llms.txt file covering it, without guessing at URLs? v2 answers with link relations: rel="alternate" type="text/markdown" points to the markdown version, rel="describedby" points to the covering llms.txt file, via HTML link elements or an HTTP Link header.

    Two smaller fixes: markdown URLs can now be page.html.md or page.md, since tooling had split on this. Subpaths are defined too - most specific file wins, letting a GitHub Pages project site (controlling only a path) participate at all.

    Bigger shift: the spec drops the llms_txt2ctx context-expansion tool. Agents are now expected to view or search llms.txt and follow links, not have the file pre-flattened into a context blob for them.

    llmstxt.org/changes.html

  9. llms.txt just had its first real revision since the September 2024 proposal, and the change worth noting is discoverability.

    v1 never answered a basic question: given a page, how does an agent find its markdown version, or the llms.txt file covering it, without guessing at URLs? v2 answers with link relations: rel="alternate" type="text/markdown" points to the markdown version, rel="describedby" points to the covering llms.txt file, via HTML link elements or an HTTP Link header.

    Two smaller fixes: markdown URLs can now be page.html.md or page.md, since tooling had split on this. Subpaths are defined too - most specific file wins, letting a GitHub Pages project site (controlling only a path) participate at all.

    Bigger shift: the spec drops the llms_txt2ctx context-expansion tool. Agents are now expected to view or search llms.txt and follow links, not have the file pre-flattened into a context blob for them.

    llmstxt.org/changes.html

    #llmstxt #aiseo #webstandards

  10. ИИ съел выдачу и сломал старые правила доверия

    Поисковый трафик уходит, старые правила доверия ломаются, а сайтам приходится заново доказывать, что им можно верить. Нейросети убьют сайты? Скорее перезапустят. В статье пробуем разобраться, каким станет ближайшее будущее веба, где искать опору для доверия и как будет собираться цепочка от ИИ-ответа до первоисточника. 🔎 Внутри: падение переходов из поиска, AI summary в выдаче, краулеры и RAG, llms.txt, Agent Readability, MCP, браузерные агенты, Perplexity и споры вокруг источников, Markdown-слой для моделей, риск веба для машин, C2PA, Verifiable Credentials, knowledge graphs и идея ИИ-аудитора. Заходите, читайте и делитесь своим опытом: как вы сейчас проверяете ИИ-ответы и источники ❤️

    habr.com/ru/companies/X5Tech/a

    #искусственный_интеллект #иипоиск #поисковые_системы #саммари #perplexity_ai #chatgpt #llmstxt #ииагенты #доверие_к_источникам #будущее_веба

  11. ИИ съел выдачу и сломал старые правила доверия

    Поисковый трафик уходит, старые правила доверия ломаются, а сайтам приходится заново доказывать, что им можно верить. Нейросети убьют сайты? Скорее перезапустят. В статье пробуем разобраться, каким станет ближайшее будущее веба, где искать опору для доверия и как будет собираться цепочка от ИИ-ответа до первоисточника. 🔎 Внутри: падение переходов из поиска, AI summary в выдаче, краулеры и RAG, llms.txt, Agent Readability, MCP, браузерные агенты, Perplexity и споры вокруг источников, Markdown-слой для моделей, риск веба для машин, C2PA, Verifiable Credentials, knowledge graphs и идея ИИ-аудитора. Заходите, читайте и делитесь своим опытом: как вы сейчас проверяете ИИ-ответы и источники ❤️

    habr.com/ru/companies/X5Tech/a

    #искусственный_интеллект #иипоиск #поисковые_системы #саммари #perplexity_ai #chatgpt #llmstxt #ииагенты #доверие_к_источникам #будущее_веба

  12. ИИ съел выдачу и сломал старые правила доверия

    Поисковый трафик уходит, старые правила доверия ломаются, а сайтам приходится заново доказывать, что им можно верить. Нейросети убьют сайты? Скорее перезапустят. В статье пробуем разобраться, каким станет ближайшее будущее веба, где искать опору для доверия и как будет собираться цепочка от ИИ-ответа до первоисточника. 🔎 Внутри: падение переходов из поиска, AI summary в выдаче, краулеры и RAG, llms.txt, Agent Readability, MCP, браузерные агенты, Perplexity и споры вокруг источников, Markdown-слой для моделей, риск веба для машин, C2PA, Verifiable Credentials, knowledge graphs и идея ИИ-аудитора. Заходите, читайте и делитесь своим опытом: как вы сейчас проверяете ИИ-ответы и источники ❤️

    habr.com/ru/companies/X5Tech/a

    #искусственный_интеллект #иипоиск #поисковые_системы #саммари #perplexity_ai #chatgpt #llmstxt #ииагенты #доверие_к_источникам #будущее_веба

  13. Разобрал логи сервера: какие ИИ-боты реально ходят по сайту и что они запрашивают

    Про ИИ-ботов пишут в основном пересказами документации вендоров: этот собирает данные для обучения, тот ходит за содержанием по запросу пользователя. Я решил посмотреть, что происходит на самом деле — прежде всего по журналам доступа сервера. Ниже представляю вам разбор: кого видно в логах, что они запрашивают, чем отличаются два типа ботов у одного вендора и почему файл llms.txt в этой картине почти не встречается.

    habr.com/ru/articles/1072256/

    #ИИботы #GPTBot #ClaudeBot #PerplexityBot #логи_сервера #robotstxt #llmstxt #UserAgent #парсеры #анализ_трафика

  14. Разобрал логи сервера: какие ИИ-боты реально ходят по сайту и что они запрашивают

    Про ИИ-ботов пишут в основном пересказами документации вендоров: этот собирает данные для обучения, тот ходит за содержанием по запросу пользователя. Я решил посмотреть, что происходит на самом деле — прежде всего по журналам доступа сервера. Ниже представляю вам разбор: кого видно в логах, что они запрашивают, чем отличаются два типа ботов у одного вендора и почему файл llms.txt в этой картине почти не встречается.

    habr.com/ru/articles/1072256/

    #ИИботы #GPTBot #ClaudeBot #PerplexityBot #логи_сервера #robotstxt #llmstxt #UserAgent #парсеры #анализ_трафика

  15. Разобрал логи сервера: какие ИИ-боты реально ходят по сайту и что они запрашивают

    Про ИИ-ботов пишут в основном пересказами документации вендоров: этот собирает данные для обучения, тот ходит за содержанием по запросу пользователя. Я решил посмотреть, что происходит на самом деле — прежде всего по журналам доступа сервера. Ниже представляю вам разбор: кого видно в логах, что они запрашивают, чем отличаются два типа ботов у одного вендора и почему файл llms.txt в этой картине почти не встречается.

    habr.com/ru/articles/1072256/

    #ИИботы #GPTBot #ClaudeBot #PerplexityBot #логи_сервера #robotstxt #llmstxt #UserAgent #парсеры #анализ_трафика

  16. Написал валидатор llms.txt на 64 тестах — и проверил, читают ли этот файл боты

    Файл llms.txt предлагают класть в корень сайта с 2024 года: считается, что языковые модели прочитают его вместо того, чтобы разбирать вёрстку. Я написал для него генератор и валидатор, проделал 64 теста для отладки — и параллельно посмотрел, сколько раз ИИ-боты вообще запрашивают этот файл. Значения получились неутешительные, но валидатор всё равно оказался полезным. Ниже — устройство разбора, схема оценки и код.

    habr.com/ru/articles/1070334/

    #llmstxt #валидатор_llmstxt #генератор_llmstxt #GPTBot #ИИботы #спецификация_llmstxt #парсер_markdown #node_test #robotstxt #нейропоиск

  17. Написал валидатор llms.txt на 64 тестах — и проверил, читают ли этот файл боты

    Файл llms.txt предлагают класть в корень сайта с 2024 года: считается, что языковые модели прочитают его вместо того, чтобы разбирать вёрстку. Я написал для него генератор и валидатор, проделал 64 теста для отладки — и параллельно посмотрел, сколько раз ИИ-боты вообще запрашивают этот файл. Значения получились неутешительные, но валидатор всё равно оказался полезным. Ниже — устройство разбора, схема оценки и код.

    habr.com/ru/articles/1070334/

    #llmstxt #валидатор_llmstxt #генератор_llmstxt #GPTBot #ИИботы #спецификация_llmstxt #парсер_markdown #node_test #robotstxt #нейропоиск

  18. Написал валидатор llms.txt на 64 тестах — и проверил, читают ли этот файл боты

    Файл llms.txt предлагают класть в корень сайта с 2024 года: считается, что языковые модели прочитают его вместо того, чтобы разбирать вёрстку. Я написал для него генератор и валидатор, проделал 64 теста для отладки — и параллельно посмотрел, сколько раз ИИ-боты вообще запрашивают этот файл. Значения получились неутешительные, но валидатор всё равно оказался полезным. Ниже — устройство разбора, схема оценки и код.

    habr.com/ru/articles/1070334/

    #llmstxt #валидатор_llmstxt #генератор_llmstxt #GPTBot #ИИботы #спецификация_llmstxt #парсер_markdown #node_test #robotstxt #нейропоиск

  19. llms.txt — кто его реально читает и нужен ли он вашему сайту

    Ну что, сыграем сегодня в разрушителей мифов? Тем более, именно этот миф набил оскомину и пару маркетинговых физиономий. Итак, давайте разбираться, что же такое этот наш элэлэмс текст, зачем он нужен и нужен ли вообще.

    habr.com/ru/articles/1067884/

    #llms #llmstxt #llmsfulltxt #llmsfull #поисковая_оптимизация #поисковые_технологии #яндекс #алиса #ии #ииагенты

  20. llms.txt — кто его реально читает и нужен ли он вашему сайту

    Ну что, сыграем сегодня в разрушителей мифов? Тем более, именно этот миф набил оскомину и пару маркетинговых физиономий. Итак, давайте разбираться, что же такое этот наш элэлэмс текст, зачем он нужен и нужен ли вообще.

    habr.com/ru/articles/1067884/

    #llms #llmstxt #llmsfulltxt #llmsfull #поисковая_оптимизация #поисковые_технологии #яндекс #алиса #ии #ииагенты

  21. llms.txt — кто его реально читает и нужен ли он вашему сайту

    Ну что, сыграем сегодня в разрушителей мифов? Тем более, именно этот миф набил оскомину и пару маркетинговых физиономий. Итак, давайте разбираться, что же такое этот наш элэлэмс текст, зачем он нужен и нужен ли вообще.

    habr.com/ru/articles/1067884/

    #llms #llmstxt #llmsfulltxt #llmsfull #поисковая_оптимизация #поисковые_технологии #яндекс #алиса #ии #ииагенты

  22. I added instructions to some of our open-source projects that expose both llms.txt and llms-full.txt files, which should cut down on overall scraping and bandwidth, and it's a much better format to work with.

    While I'm not sure if any mutuals have started work on this pattern, I find it to be infinitely more usable than other formats.

    If you are working in this space, I'd love your feedback and any tips you have.

    django-test-plus.readthedocs.i

    #LLM #LLMSTXT #ClaudeCode #Codex

  23. I added instructions to some of our open-source projects that expose both llms.txt and llms-full.txt files, which should cut down on overall scraping and bandwidth, and it's a much better format to work with.

    While I'm not sure if any mutuals have started work on this pattern, I find it to be infinitely more usable than other formats.

    If you are working in this space, I'd love your feedback and any tips you have.

    django-test-plus.readthedocs.i

    #LLM #LLMSTXT #ClaudeCode #Codex

  24. I added instructions to some of our open-source projects that expose both llms.txt and llms-full.txt files, which should cut down on overall scraping and bandwidth, and it's a much better format to work with.

    While I'm not sure if any mutuals have started work on this pattern, I find it to be infinitely more usable than other formats.

    If you are working in this space, I'd love your feedback and any tips you have.

    django-test-plus.readthedocs.i

    #LLM #LLMSTXT #ClaudeCode #Codex

  25. I added instructions to some of our open-source projects that expose both llms.txt and llms-full.txt files, which should cut down on overall scraping and bandwidth, and it's a much better format to work with.

    While I'm not sure if any mutuals have started work on this pattern, I find it to be infinitely more usable than other formats.

    If you are working in this space, I'd love your feedback and any tips you have.

    django-test-plus.readthedocs.i

    #LLM #LLMSTXT #ClaudeCode #Codex

  26. I added instructions to some of our open-source projects that expose both llms.txt and llms-full.txt files, which should cut down on overall scraping and bandwidth, and it's a much better format to work with.

    While I'm not sure if any mutuals have started work on this pattern, I find it to be infinitely more usable than other formats.

    If you are working in this space, I'd love your feedback and any tips you have.

    django-test-plus.readthedocs.i

    #LLM #LLMSTXT #ClaudeCode #Codex

  27. @FluentInFinance which leads us to the obvious question of how we can manage to make this efficient and useful for both as time will not turn back.

    Looking at the lllms.txt, some API approaches and the Anubises etf of this world for the flip side for that matter.

    #anubis #LLMProtection #apis #LLMs #llmstxt

  28. @FluentInFinance which leads us to the obvious question of how we can manage to make this efficient and useful for both as time will not turn back.

    Looking at the lllms.txt, some API approaches and the Anubises etf of this world for the flip side for that matter.

    #anubis #LLMProtection #apis #LLMs #llmstxt

  29. @FluentInFinance which leads us to the obvious question of how we can manage to make this efficient and useful for both as time will not turn back.

    Looking at the lllms.txt, some API approaches and the Anubises etf of this world for the flip side for that matter.

    #anubis #LLMProtection #apis #LLMs #llmstxt

  30. @FluentInFinance which leads us to the obvious question of how we can manage to make this efficient and useful for both as time will not turn back.

    Looking at the lllms.txt, some API approaches and the Anubises etf of this world for the flip side for that matter.

    #anubis #LLMProtection #apis #LLMs #llmstxt

  31. @FluentInFinance which leads us to the obvious question of how we can manage to make this efficient and useful for both as time will not turn back.

    Looking at the lllms.txt, some API approaches and the Anubises etf of this world for the flip side for that matter.

    #anubis #LLMProtection #apis #LLMs #llmstxt

  32. GEO: техника нейровыдачи: чанкование с оверлапом, Schema.org, robots.txt и пр. Часть 3 из 3

    В этой части — самое приземлённое про GEO-продвижение. Никакой философии, только то, что можно взять и в понедельник начать делать руками: как резать страницу под чанки, какой JSON-LD писать, какие боты пускать на сайт, как честно замерить цитируемость и как поймать переходы в Метрике и GA. То есть форма, в которую упаковывается уже сформулированная ценность. Если ценности нет, форма не спасёт — об этом была вторая часть. Часть 1 — Нейросайт глазами бизнеса: позиции, трафик, конверсия и скорость изменений Часть 2 — Как принудить нейросеть рассказать про ваш продукт

    habr.com/ru/articles/1060370/

    #GEO #Schemaorg #JSONLD #robotstxt #llmstxt #чанкование #SEO #нейровыдача #AI_Overview #Share_of_Voice

  33. GEO: техника нейровыдачи: чанкование с оверлапом, Schema.org, robots.txt и пр. Часть 3 из 3

    В этой части — самое приземлённое про GEO-продвижение. Никакой философии, только то, что можно взять и в понедельник начать делать руками: как резать страницу под чанки, какой JSON-LD писать, какие боты пускать на сайт, как честно замерить цитируемость и как поймать переходы в Метрике и GA. То есть форма, в которую упаковывается уже сформулированная ценность. Если ценности нет, форма не спасёт — об этом была вторая часть. Часть 1 — Нейросайт глазами бизнеса: позиции, трафик, конверсия и скорость изменений Часть 2 — Как принудить нейросеть рассказать про ваш продукт

    habr.com/ru/articles/1060370/

    #GEO #Schemaorg #JSONLD #robotstxt #llmstxt #чанкование #SEO #нейровыдача #AI_Overview #Share_of_Voice

  34. GEO: техника нейровыдачи: чанкование с оверлапом, Schema.org, robots.txt и пр. Часть 3 из 3

    В этой части — самое приземлённое про GEO-продвижение. Никакой философии, только то, что можно взять и в понедельник начать делать руками: как резать страницу под чанки, какой JSON-LD писать, какие боты пускать на сайт, как честно замерить цитируемость и как поймать переходы в Метрике и GA. То есть форма, в которую упаковывается уже сформулированная ценность. Если ценности нет, форма не спасёт — об этом была вторая часть. Часть 1 — Нейросайт глазами бизнеса: позиции, трафик, конверсия и скорость изменений Часть 2 — Как принудить нейросеть рассказать про ваш продукт

    habr.com/ru/articles/1060370/

    #GEO #Schemaorg #JSONLD #robotstxt #llmstxt #чанкование #SEO #нейровыдача #AI_Overview #Share_of_Voice

  35. FYI: llms.txt adoption rises 8.8x but 97% of files get zero AI requests: Originality.ai counted 38,980 adopting sites across 3M+ websites by May 2026, yet SEO audit tools - not AI assistants - dominate actual llms.txt request logs. ppc.land/llms-txt-adoption-ris #llmstxt #AImarketing #SEO #digitalmarketing #webanalytics

  36. FYI: llms.txt adoption rises 8.8x but 97% of files get zero AI requests: Originality.ai counted 38,980 adopting sites across 3M+ websites by May 2026, yet SEO audit tools - not AI assistants - dominate actual llms.txt request logs. ppc.land/llms-txt-adoption-ris #llmstxt #AImarketing #SEO #digitalmarketing #webanalytics

  37. FYI: llms.txt adoption rises 8.8x but 97% of files get zero AI requests: Originality.ai counted 38,980 adopting sites across 3M+ websites by May 2026, yet SEO audit tools - not AI assistants - dominate actual llms.txt request logs. ppc.land/llms-txt-adoption-ris #llmstxt #AImarketing #SEO #digitalmarketing #webanalytics