#elasticsearch — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #elasticsearch, aggregated by home.social.
-
Мы добавили LLM в поиск, но не стали заменять им Elasticsearch. Почему?
На первый взгляд, поиск в сервисе услуг — это довольно типовая задача. Что там может быть особенного? Под капотом лежит каталог услуг, Elasticsearch, нормализация запросов, ранжирование, кеширование. Ничего такого, чего не было бы в других продуктах. Но это только на первый взгляд. Сейчас расскажу, как устроен поиск в Профи.ру, зачем мы добавили в него LLM и почему языковая модель у нас не заменила классический алгоритм, а стала его дополнительным слоем.
-
Мы добавили LLM в поиск, но не стали заменять им Elasticsearch. Почему?
На первый взгляд, поиск в сервисе услуг — это довольно типовая задача. Что там может быть особенного? Под капотом лежит каталог услуг, Elasticsearch, нормализация запросов, ранжирование, кеширование. Ничего такого, чего не было бы в других продуктах. Но это только на первый взгляд. Сейчас расскажу, как устроен поиск в Профи.ру, зачем мы добавили в него LLM и почему языковая модель у нас не заменила классический алгоритм, а стала его дополнительным слоем.
-
Vietnam-Linked APIS Leak Exposes 220 Million Traveler Records
A staggering 220 million traveler records, including passenger and crew information, were left vulnerable due to a misconfigured system linked to a Vietnamese organization. This massive data leak, discovered by Kinryū Labs, exposed sensitive information spanning nearly a decade.
-
Elastic: 95% of its 87 CVEs remain unpatched—dangerous for a SIEM staple. Avg CVSS 6.41, max 9.9, but zero KEV exploits so far. Trust Score C. Patch hygiene is your blind spot, not their code. https://www.valtersit.com/vendors/elastic/ #cybersecurity #infosec #Elasticsearch
-
How to Install #Zammad on #AlmaLinux #VPS (10-Minute Quick-Start Guide) This article provides a guide on how to install Zammad on #AlmaLinux VPS.
If you're looking to run a ...
Continued 👉 #certbot #customersupportplatform #opensource #selfhosting #ticket #letsencrypt #selfhosted #elasticsearch
How to Install Zammad on AlmaL... -
What are you up to on Thursday? If you're interested in learning about developer tools that you can use in your AI agents, I'll be speaking about search with #elasticsearch at Auth0 dev_night on Thursday 10th September.
Registration 👇 .
https://luma.com/devnight-london-2026
Hope to see you there!
-
How to Deploy #Forem on Rocky Linux #VPS This article provides a guide detailing how to deploy Forem on Rocky Linux ...
Continued 👉 #reverseproxy #rockylinux #letsencrypt #opensource #selfhosted #forumsoftware #postgresql #elasticsearch #rubyonrails #selfhosting #forum #sidekiq #rubygems #redis
How to Deploy Forem on Rocky L... -
Recently, I heard complaints within the #syslog_ng community that using #Elasticsearch is not that easy anymore. I installed Elasticsearch 9.5 with #Kibana to verify these claims. Read more at: https://www.syslog-ng.com/community/b/blog/posts/using-syslog-ng-with-elasticsearch-9-5
-
#selfhosted #mastoadmin how are y'all monitoring the logs for your instance? Currently researching bolting nginx exporter onto my reverse proxy and creating #Prometheus rules for that.. but what else? I've got both #elasticsearch and #loki running in my #homelab. As well as kube-prometheus-stack.
-
Think your 2-node Elasticsearch cluster is HA? A 3-second network blip can split it into two masters, corrupting your data. Fix quorum before it breaks. #Elasticsearch #DevOps #Database
-
CW: release notes for Malcolm v26.08.0, a network traffic analysis tool suite for network security monitoring
Malcolm v26.08.0 adds a NetBox
purdue_zonecustom field that propagates ICS/OT network zone classifications to devices, prefixes, and virtual machines (and automatically to autopopulated devices from their containing prefix); Raspberry Pi 5 support for Hedgehog Linux; and, configurable Strelka scanner and disabled-Suricata-SID lists. This release also fixes five security vulnerabilities: an nginx RBAC bypass via percent-encoded, case-varied, or slash-doubled request paths; an archive-bomb bypass affecting raw-stream and lzip-compressed uploads; a case-variant path bypass of the nginx auth gate exposing the Arkime backend to forged identity headers; an Arkime authentication gap on sensor nodes that fell back todigestinstead of enforcings2s; and a CSRF vulnerability in the kiosk/script_callendpoint allowing unauthenticated data-destructive operations. Arkime, Zeek, NetBox, OpenSearch, OpenSearch Dashboards, Logstash, Filebeat, Keycloak, and other components have been updated as well. Several other bug fixes and general improvements are also included.https://github.com/idaholab/Malcolm/compare/v26.07.1...v26.08.0
See the Release Notes for the full set of new features, enhancements, bug fixes, and component version updates.
Malcolm is a powerful, easily deployable network 🖧 traffic analysis tool suite for network security monitoring 🕵🏻♀️.
Malcolm operates as a cluster of containers 📦, isolated sandboxes which each serve a dedicated function of the system. This makes Malcolm deployable with frameworks like Docker 🐋, Podman 🦭, and Kubernetes ⎈. Check out the Quick Start guide for examples on how to get up and running.
Alternatively, dedicated official ISO installer images 💿 for Malcolm and Hedgehog Linux 🦔 can be downloaded from Malcolm's releases page on GitHub. Due to limits on individual files in GitHub releases, these ISO files have been split 🪓 into 2GB chunks and can be reassembled with scripts provided for both Bash 🐧 (
release_cleaver.sh) and PowerShell 🪟 (release_cleaver.ps1). See Downloading Malcolm - Installer ISOs for instructions.As always, join us on the Malcolm discussions board 💬 to engage with the community, or pop some corn 🍿 and watch a video 📼.
#Malcolm #HedgehogLinux #Zeek #Arkime #Strelka #NetBox #OpenSearch #Elasticsearch #Suricata #PCAP #NetworkTrafficAnalysis #networksecuritymonitoring #OT #ICS #icssecurity #CyberSecurity #Cyber #Infosec #INL
-
As people might have missed this - do not use ElasticSearch 9.5.0 and 9.5.1.
Either stick with an older version for now, or go for 9.5.2.
The first two of the 9.5 releases can return invalid data. -
GitLab is hiring Intermediate Software Engineer, Security Factory: Vulnerability Management
🔧 #javascript #ruby #rubyonrails #vue #elasticsearch #postgresql #securityengineer
🌎 Remote; Canada; Israel; United Kingdom; United States
⏰ Full-time
🏢 GitLabJob details https://jobsfordevelopers.com/jobs/intermediate-software-engineer-security-factory-vulnerability-management-at-gitlab-com-aug-20-2026-0cfbc0?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
#mathe.social hat übrigens #ElasticSearch, also Volltextsuche aktiviert. Diese Suche unterstützt auch verschiedene Operatoren, wie z.B. 'OR' für oder und ein vorangestelltes "-" für Ausschluss von Suchbegriffen.
https://markwrites.io/guide-for-using-mastodon-search/Volltextsuche durch eure eigenen Toots ist übrigens Opt-In. Ihr findet das in den Einstellungen unter "Datenschutz und Reichweite" und da "Öffentliche Beiträge in Suchergebnisse einbeziehen".
https://fedi.tips/how-do-i-opt-into-or-out-of-full-text-search-on-mastodon/
-
🔔 Event notifications to webhooks, #Kafka, #NATS, #Redis, #RabbitMQ, #PostgreSQL and #Elasticsearch, plus lambda-style webhook triggers on S3 events
📊 #Prometheus metrics per bucket, SSE streams for events/logs/traces, virus scanning via webhook with quarantine, hot/cold data tiering, backup scheduler and FUSE mount for buckets as local filesystem
-
How to Install #Zammad on #AlmaLinux #VPS (10-Minute Quick-Start Guide) This article provides a guide on how to install Zammad on #AlmaLinux VPS.
If you're looking to run a ...
Continued 👉 #opensource #certbot #ticket #customersupportplatform #elasticsearch #selfhosting #letsencrypt #selfhosted
How to Install Zammad on AlmaL... -
Match Group is hiring Backend Engineer (Trust & Safety), Platform
🔧 #golang #javascript #python #typescript #aws #docker #elasticsearch #gcp #kubernetes #mysql #redis #terraform
🌎 Tokyo, Japan
⏰ Full-time
🏢 Match GroupJob details https://jobsfordevelopers.com/jobs/backend-engineer-trust-safety-platform-at-mtch-com-jun-4-2026-99b6c3?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
How to Deploy #Forem on Rocky Linux #VPS This article provides a guide detailing how to deploy Forem on Rocky Linux ...
Continued 👉 #forumsoftware #opensource #redis #rockylinux #elasticsearch #selfhosted #postgresql #letsencrypt #forum #sidekiq #selfhosting #reverseproxy #rubygems #rubyonrails
How to Deploy Forem on Rocky L... -
How to Install #Zammad on #AlmaLinux #VPS (10-Minute Quick-Start Guide) This article provides a guide on how to install Zammad on #AlmaLinux VPS.
If you're looking to run a ...
Continued 👉 #selfhosting #selfhosted #elasticsearch #opensource #letsencrypt #customersupportplatform #ticket #certbot
How to Install Zammad on AlmaL... -
Поиск в глубину: какие инструменты помогают работать поиску в Uzum Market
Всем привет! Меня зовут Дмитрий Шипилов, с вами команда поиска Uzum Market. Мы уже рассказывали вам о нашем поисковом движке: о том, как вообще работает ранжирование и что у него под капотом и как мы получаем кандидатов с помощью векторного поиска . Но хороший поиск — это не только правильное ранжирование и мощная retrieval-часть. Хороший поиск — это набор различных инструментов и компонентов, собранных в сложную систему. Поэтому в этой статье вы узнаете о важных вещах, без которых наш поиск не может обойтись, в том числе: как мы помогли опечаточнику понимать контекст нашего маркетплейса, почему безобидные синонимы могут привести к неожиданным эффектам, в каких случаях важно сужать количество товаров и как построить устойчивую LLM-систему для оценки качества ранжирования. Так что там про поиск
-
How to Install #Zammad on #AlmaLinux #VPS (10-Minute Quick-Start Guide) This article provides a guide on how to install Zammad on #AlmaLinux VPS.
If you're looking to run a robust open-source #helpdesk on your AlmaLinux VPS, Zammad is a great pick. It's modern, feature-packed, and supports everything from ticketing to chat and reporting. This guide ...
Continued 👉 https://blog.radwebhosting.com/how-to-install-zammad-on-almalinux-vps/?utm_source=mastodon&utm_medium=social&utm_campaign=mastodon.raddemo.host #elasticsearch #selfhosted #selfhosting #certbot #customersupportplatform #opensource #ticket #letsencrypt -
#ElasticSearch in #Mastodon is broken for a while already, or is it just me ??
(My provider tells me that there is a bug and they can't do anything about it)
In the meantime I'm downloading all my toots with mastodon.py and searching locally to find stuff. Not ideal :(
-
Ошибка в расчёте скидки, которую не видно глазами: проверяем ответ API по документации, когда автотестов нет
Есть класс ошибок, которые проходят все ручные проверки и спокойно доезжают до продакшена. Не пятисотки, не пустые поля, не сломанная структура — с этим как раз всё в порядке. Речь про случаи, когда сервис отвечает статусом 200, все поля на месте, типы правильные, и при этом одно число посчитано неверно. Расскажу, как я проверяю такие ответы, когда в команде нет автотестов и в ближайшее время не появится: писать и поддерживать код некому, а сверка ответа с документацией делается глазами. Подход применим в любом инструменте, я просто покажу его на своём рабочем сценарии — создании заказа с расчётом скидки.
https://habr.com/ru/articles/1068580/
#тестирование_api #проверка_ответов #json #валидация_данных #ручное_тестирование #тесткейсы #логи #elasticsearch #бизнеслогика #регрессионное_тестирование
-
How to Deploy #Forem on Rocky Linux #VPS This article provides a guide detailing how to deploy Forem on Rocky Linux ...
Continued 👉 #opensource #elasticsearch #selfhosting #rubygems #redis #postgresql #rubyonrails #sidekiq #forumsoftware #selfhosted #rockylinux #letsencrypt #forum #reverseproxy
How to Deploy Forem on Rocky L... -
Learn how to install OpenMetadata on Ubuntu using Docker Compose. Deploy the complete stack with Airflow, PostgreSQL, and Elasticsearch.
Full guide here: https://ostechnix.com/install-openmetadata-ubuntu-docker-compose/
#Openmetadata #Metadata #DataGovernance #DataCatalog #Dataops #Devops #DataEngineering #Ubuntu #Postgresql #Docker #DockerCompose #Elasticsearch #ApacheAirflow
-
Impact.com is hiring Full Stack Software Engineer
🔧 #java #javascript #angular #react #springboot #vue #redux #vuex #hibernate #css #docker #elasticsearch #html #kubernetes #mvc #mysql #sql #tdd
🌎 Columbus, Ohio
⏰ Full-time
🏢 Impact.comJob details https://jobsfordevelopers.com/jobs/full-stack-software-engineer-at-impact-com-may-27-2026-580da3?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
How to Install #Zammad on #AlmaLinux #VPS (10-Minute Quick-Start Guide) This article provides a guide on how to install Zammad on #AlmaLinux VPS.
If you're looking to run ...
Continued 👉 #letsencrypt #selfhosted #customersupportplatform #selfhosting #elasticsearch #opensource #ticket #certbot
How to Install Zammad on AlmaL... -
How to Install #Zammad on #AlmaLinux #VPS (10-Minute Quick-Start Guide) This article provides a guide on how to install Zammad on #AlmaLinux VPS.
If you're looking to run a robust open-source #helpdesk on your AlmaLinux VPS, Zammad is a great pick. It's modern, feature-packed, and supports everything from ticketing to chat and reporting. This guide ...
Continued 👉 https://blog.radwebhosting.com/how-to-install-zammad-on-almalinux-vps/?utm_source=mastodon&utm_medium=social&utm_campaign=mastodon.raddemo.host #elasticsearch #certbot #letsencrypt #opensource #selfhosted #ticket #selfhosting #customersupportplatform -
How to Install #Zammad on #AlmaLinux #VPS (10-Minute Quick-Start Guide) This article provides a guide on how to install Zammad on #AlmaLinux VPS.
If you're looking to run a robust open-source #helpdesk on your AlmaLinux VPS, Zammad is a great pick. It's modern, feature-packed, and supports everything from ticketing to chat and reporting. This guide ...
Continued 👉 https://blog.radwebhosting.com/how-to-install-zammad-on-almalinux-vps/?utm_source=mastodon&utm_medium=social&utm_campaign=mastodon.raddemo.host #customersupportplatform #selfhosted #certbot #ticket #letsencrypt #opensource #selfhosting #elasticsearch -
How to Deploy #Forem on Rocky Linux #VPS This article provides a guide detailing how to deploy Forem on Rocky Linux ...
Continued 👉 #forumsoftware #postgresql #opensource #rubyonrails #reverseproxy #elasticsearch #sidekiq #rubygems #selfhosted #redis #forum #letsencrypt #rockylinux #selfhosting
How to Deploy Forem on Rocky L... -
How to Deploy #Forem on Rocky Linux #VPS This article provides a guide detailing how to deploy Forem on Rocky Linux VPS.
What is Forem?
Forem is a robust, open-source platform for building communities like DEV.to. Deploying it on Rocky Linux involves setting up dependencies like PostgreSQL, ...
Continued 👉 https://blog.radwebhosting.com/deploy-forem-on-rocky-linux-vps/?utm_source=mastodon&utm_medium=social&utm_campaign=mastodon.raddemo.host #rubygems #reverseproxy #letsencrypt #sidekiq #elasticsearch #rockylinux #postgresql #redis #rubyonrails #selfhosting #opensource #selfhosted #forum #forumsoftware -
How to Deploy #Forem on Rocky Linux #VPS This article provides a guide detailing how to deploy Forem on Rocky Linux VPS.
What is Forem?
Forem is a robust, open-source platform for building communities like DEV.to. Deploying it on Rocky Linux involves setting up dependencies like PostgreSQL, ...
Continued 👉 https://blog.radwebhosting.com/deploy-forem-on-rocky-linux-vps/?utm_source=mastodon&utm_medium=social&utm_campaign=mastodon.raddemo.host #elasticsearch #rubygems #selfhosted #redis #postgresql #sidekiq #rockylinux #rubyonrails #forumsoftware #opensource #reverseproxy #selfhosting #letsencrypt #forum -
How to Deploy #Forem on Rocky Linux #VPS This article provides a guide detailing how to deploy Forem on Rocky Linux ...
Continued 👉 #forum #rubygems #selfhosted #elasticsearch #opensource #redis #letsencrypt #postgresql #rockylinux #reverseproxy #forumsoftware #sidekiq #selfhosting #rubyonrails
How to Deploy Forem on Rocky L... -
How to Deploy #Forem on Rocky Linux #VPS This article provides a guide detailing how to deploy Forem on Rocky Linux VPS.
What is Forem?
Forem is a robust, open-source platform for building communities like DEV.to. Deploying it on Rocky Linux involves setting up dependencies like PostgreSQL, ...
Continued 👉 https://blog.radwebhosting.com/deploy-forem-on-rocky-linux-vps/?utm_source=mastodon&utm_medium=social&utm_campaign=mastodon.raddemo.host #rockylinux #postgresql #reverseproxy #forumsoftware #elasticsearch #rubyonrails #redis #sidekiq #selfhosting #rubygems #selfhosted #letsencrypt #forum #opensource -
How to Deploy #Forem on Rocky Linux #VPS This article provides a guide detailing how to deploy Forem on Rocky Linux ...
Continued 👉 #selfhosting #forumsoftware #forum #selfhosted #reverseproxy #postgresql #opensource #elasticsearch #rubygems #sidekiq #letsencrypt #rockylinux #rubyonrails #redis
How to Deploy Forem on Rocky L... -
How to Deploy #Forem on Rocky Linux #VPS This article provides a guide detailing how to deploy Forem on Rocky Linux VPS.
What is Forem?
Forem is a robust, open-source platform for building communities like DEV.to. Deploying it on Rocky Linux involves setting up dependencies like PostgreSQL, ...
Continued 👉 https://blog.radwebhosting.com/deploy-forem-on-rocky-linux-vps/?utm_source=mastodon&utm_medium=social&utm_campaign=mastodon.raddemo.host #forum #sidekiq #elasticsearch #rubygems #reverseproxy #selfhosted #rubyonrails #letsencrypt #redis #selfhosting #postgresql #forumsoftware #opensource #rockylinux -
Wenn ich nachsehen möchte, ob im #Formatstring für das Datum das kleine s für Sekunden und das große S für Millisekunden steht, dann frage ich das einen beliebigen #GPTbot (den, der nicht sagt #Quota exceded, weil ich mich nicht per #Api-Key identifiziert habe). Warum?In #Wikipedia steht die Antwort möglicherweise. Es dauert aber, herauszufinden, in welchem Artikel, Listenartikel oder Unterartikel. Die #Suche von Wikipedia verwendet zwar #ElasticSearch, aber um die Vorteile von dieser starken Engine auch zu erhalten, hätten 100000e Menschen, die Wikipedia-Artikel auch verschlagworten müssen (#wikidata). Ausserdem kann es sein, dass etwas so praktisches wie formatstrings als #unenzyklpädisch eingestuft wurde und daher entfernt.
In #Stackexchange muss ich mehrfach bestätigen, dass ich ein Mensch bin, finde dann einen Artikel, der unbeantwortet geschlossen wurde, weil #Duplikat. Dann zwei veraltete, die inzwischen falsch sind, dann welche mit einem nicht mehr funktionierenden link auf die Lösung.
Bei #archive_org, archive.is und #AnnasArchive muss ich die #URL des gesuchten Artikels wissen, um suchen zu können.
Eine #Suchmaschine sucht nicht. Eine Suchmaschine liest die "Sutemap.XML" Dateien aus, die websitebetreiber online stellen für die #crawler der Suchmaschinen. Ich finde also fünf Jahre alte Artikel auf Websites die seit fünf Jahren nicht mehr gepflegt werden. Und maximal ein jahr alte Artikel, die meine Frage nicht beantworten aber in der #sitemap stehen. Die 100 Websites, die die richtige Antwort in einem zwei bis vier Jahre alte Artikel enthalten, finde ich nicht, weil diese Artikel nicht mehr in der sitemap stehen.
Die GPTbots haben Wikipedia, stackexchange, Archiv.org, Annas archive und alle Websites gescrapt und dabei #robots.txt und sitemap ignoriert. Ich bekomme die richtige Antwort und zwar schneller als mit allen zuvor genannten Varianten.
Oder ich suche in #Grokipedia. Grokipedia besteht aus 1Million statischen seiten im #CDN von #Cloudflare die von wikipedia gescrapt wurden. Die suche ist ein GPTbot und 57mal besser als die suche in wikipedia.
@malteengeler @awinkler @evawolfangel @bkastl @Raymond @wikipedia
-
Wenn ich nachsehen möchte, ob im #Formatstring für das Datum das kleine s für Sekunden und das große S für Millisekunden steht, dann frage ich das einen beliebigen #GPTbot (den, der nicht sagt #Quota exceded, weil ich mich nicht per #Api-Key identifiziert habe). Warum?In #Wikipedia steht die Antwort möglicherweise. Es dauert aber, herauszufinden, in welchem Artikel, Listenartikel oder Unterartikel. Die #Suche von Wikipedia verwendet zwar #ElasticSearch, aber um die Vorteile von dieser starken Engine auch zu erhalten, hätten 100000e Menschen, die Wikipedia-Artikel auch verschlagworten müssen (#wikidata). Ausserdem kann es sein, dass etwas so praktisches wie formatstrings als #unenzyklpädisch eingestuft wurde und daher entfernt.
In #Stackexchange muss ich mehrfach bestätigen, dass ich ein Mensch bin, finde dann einen Artikel, der unbeantwortet geschlossen wurde, weil #Duplikat. Dann zwei veraltete, die inzwischen falsch sind, dann welche mit einem nicht mehr funktionierenden link auf die Lösung.
Bei #archive_org, archive.is und #AnnasArchive muss ich die #URL des gesuchten Artikels wissen, um suchen zu können.
Eine #Suchmaschine sucht nicht. Eine Suchmaschine liest die "Sutemap.XML" Dateien aus, die websitebetreiber online stellen für die #crawler der Suchmaschinen. Ich finde also fünf Jahre alte Artikel auf Websites die seit fünf Jahren nicht mehr gepflegt werden. Und maximal ein jahr alte Artikel, die meine Frage nicht beantworten aber in der #sitemap stehen. Die 100 Websites, die die richtige Antwort in einem zwei bis vier Jahre alte Artikel enthalten, finde ich nicht, weil diese Artikel nicht mehr in der sitemap stehen.
Die GPTbots haben Wikipedia, stackexchange, Archiv.org, Annas archive und alle Websites gescrapt und dabei #robots.txt und sitemap ignoriert. Ich bekomme die richtige Antwort und zwar schneller als mit allen zuvor genannten Varianten.
Oder ich suche in #Grokipedia. Grokipedia besteht aus 1Million statischen seiten im #CDN von #Cloudflare die von wikipedia gescrapt wurden. Die suche ist ein GPTbot und 57mal besser als die suche in wikipedia.
@malteengeler @awinkler @evawolfangel @bkastl @Raymond @wikipedia
-
Wenn ich nachsehen möchte, ob im #Formatstring für das Datum das kleine s für Sekunden und das große S für Millisekunden steht, dann frage ich das einen beliebigen #GPTbot (den, der nicht sagt #Quota exceded, weil ich mich nicht per #Api-Key identifiziert habe). Warum?In #Wikipedia steht die Antwort möglicherweise. Es dauert aber, herauszufinden, in welchem Artikel, Listenartikel oder Unterartikel. Die #Suche von Wikipedia verwendet zwar #ElasticSearch, aber um die Vorteile von dieser starken Engine auch zu erhalten, hätten 100000e Menschen, die Wikipedia-Artikel auch verschlagworten müssen (#wikidata). Ausserdem kann es sein, dass etwas so praktisches wie formatstrings als #unenzyklpädisch eingestuft wurde und daher entfernt.
In #Stackexchange muss ich mehrfach bestätigen, dass ich ein Mensch bin, finde dann einen Artikel, der unbeantwortet geschlossen wurde, weil #Duplikat. Dann zwei veraltete, die inzwischen falsch sind, dann welche mit einem nicht mehr funktionierenden link auf die Lösung.
Bei #archive_org, archive.is und #AnnasArchive muss ich die #URL des gesuchten Artikels wissen, um suchen zu können.
Eine #Suchmaschine sucht nicht. Eine Suchmaschine liest die "Sutemap.XML" Dateien aus, die websitebetreiber online stellen für die #crawler der Suchmaschinen. Ich finde also fünf Jahre alte Artikel auf Websites die seit fünf Jahren nicht mehr gepflegt werden. Und maximal ein jahr alte Artikel, die meine Frage nicht beantworten aber in der #sitemap stehen. Die 100 Websites, die die richtige Antwort in einem zwei bis vier Jahre alte Artikel enthalten, finde ich nicht, weil diese Artikel nicht mehr in der sitemap stehen.
Die GPTbots haben Wikipedia, stackexchange, Archiv.org, Annas archive und alle Websites gescrapt und dabei #robots.txt und sitemap ignoriert. Ich bekomme die richtige Antwort und zwar schneller als mit allen zuvor genannten Varianten.
Oder ich suche in #Grokipedia. Grokipedia besteht aus 1Million statischen seiten im #CDN von #Cloudflare die von wikipedia gescrapt wurden. Die suche ist ein GPTbot und 57mal besser als die suche in wikipedia.
@malteengeler @awinkler @evawolfangel @bkastl @Raymond @wikipedia
-
Wenn ich nachsehen möchte, ob im #Formatstring für das Datum das kleine s für Sekunden und das große S für Millisekunden steht, dann frage ich das einen beliebigen #GPTbot (den, der nicht sagt #Quota exceded, weil ich mich nicht per #Api-Key identifiziert habe). Warum?In #Wikipedia steht die Antwort möglicherweise. Es dauert aber, herauszufinden, in welchem Artikel, Listenartikel oder Unterartikel. Die #Suche von Wikipedia verwendet zwar #ElasticSearch, aber um die Vorteile von dieser starken Engine auch zu erhalten, hätten 100000e Menschen, die Wikipedia-Artikel auch verschlagworten müssen (#wikidata). Ausserdem kann es sein, dass etwas so praktisches wie formatstrings als #unenzyklpädisch eingestuft wurde und daher entfernt.
In #Stackexchange muss ich mehrfach bestätigen, dass ich ein Mensch bin, finde dann einen Artikel, der unbeantwortet geschlossen wurde, weil #Duplikat. Dann zwei veraltete, die inzwischen falsch sind, dann welche mit einem nicht mehr funktionierenden link auf die Lösung.
Bei #archive_org, archive.is und #AnnasArchive muss ich die #URL des gesuchten Artikels wissen, um suchen zu können.
Eine #Suchmaschine sucht nicht. Eine Suchmaschine liest die "Sutemap.XML" Dateien aus, die websitebetreiber online stellen für die #crawler der Suchmaschinen. Ich finde also fünf Jahre alte Artikel auf Websites die seit fünf Jahren nicht mehr gepflegt werden. Und maximal ein jahr alte Artikel, die meine Frage nicht beantworten aber in der #sitemap stehen. Die 100 Websites, die die richtige Antwort in einem zwei bis vier Jahre alte Artikel enthalten, finde ich nicht, weil diese Artikel nicht mehr in der sitemap stehen.
Die GPTbots haben Wikipedia, stackexchange, Archiv.org, Annas archive und alle Websites gescrapt und dabei #robots.txt und sitemap ignoriert. Ich bekomme die richtige Antwort und zwar schneller als mit allen zuvor genannten Varianten.
Oder ich suche in #Grokipedia. Grokipedia besteht aus 1Million statischen seiten im #CDN von #Cloudflare die von wikipedia gescrapt wurden. Die suche ist ein GPTbot und 57mal besser als die suche in wikipedia.
@malteengeler @awinkler @evawolfangel @bkastl @Raymond @wikipedia
-
New post about how to write data from a Apache Spark DataFrame into a Elasticsearch/Opensearch database #datascience #databricks #elasticsearch #opensearch #bigdata #apachespark #spark #tech #programming #python:
https://pedro-faria.netlify.app/posts/2025/2025-03-16-spark-elasticsearch/en/
-
I'll be at the AI Engineer World Fair next week in San Francisco #AIEWF
and we'll also combine it with an elastic meetup on wednesday — join us: https://lu.ma/j4bx1fa2our talks are:
1️⃣ Udbhav Prasad: #elasticsearch at stairwell — journey to developing the cybersecurity search infrastructure
2️⃣ Maria Khalusova: making unstructured data ready for #RAG with #UnstructuredIO and elasticsearch
3️⃣ Sunile Manjee: ELSER, you know, for semantic search