home.social

#ingest — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ingest, aggregated by home.social.

fetched live
  1. Event Sourcing в платформе данных: миграция с JSON на Avro

    Иногда legacy живёт в компании годами не потому, что он плох, а потому что «работает — не трогай». Но однажды появляется триггер, который заставляет переосмыслить подход. В нашем случае таким триггером стала миграция на Kafka 4.0. Привет! Меня зовут Роман, я инженер данных в компании CDEK и занимаюсь разработкой платформы данных и внедрением self‑service инструментов. В этой статье расскажу, как мы обеспечиваем Event Sourcing подход в платформе больших данных, с какой болью столкнулись при переходе на Kafka 4.0 и как решились отказаться от JSON‑формата.

    habr.com/ru/companies/cdek_blo

    #bigdata #ingest

  2. gitingest.com/

    Gitingest es una herramienta que convierte cualquier repositorio Git en un sencillo resumen de texto de su base de código, facilitando su uso como entrada para modelos de lenguaje.

    #git #github #ingest #ai #llm

  3. gitingest.com/

    Gitingest es una herramienta que convierte cualquier repositorio Git en un sencillo resumen de texto de su base de código, facilitando su uso como entrada para modelos de lenguaje.

    #git #github #ingest #ai #llm

  4. In this post, we examine how to review and master your data connectors to optimize ingestion.  Organizations worldwide are investing in sophisticated tools like Microsoft Sentinel to safeguard their infrastructure from evolving threats.  The effectiveness of these tools hinges on a single critical aspect: data ingestion.

    azuretracks.com/?p=2555

  5. I wrote a tool for parsing large amounts of plain text (i.e. code repos) to a promptable format and added the ability to directly query AIs as an output - smcleod.net/2024/07/ingest-str

    #AI #ML #LLM #Ollama #Ingest

  6. I wrote a tool for parsing large amounts of plain text (i.e. code repos) to a promptable format and added the ability to directly query AIs as an output - smcleod.net/2024/07/ingest-str

    #AI #ML #LLM #Ollama #Ingest