#llama31 — Public Fediverse posts

Как с помощью graph RAG добиться многоходовых рассуждений от LLM с 2B весов

Пару недель назад YouTube подкинул мне пятиминутный ролик с небольшого канала, где автор демонстрирует преимущества RAG на графах над обычным RAG поверх корпуса текстов. Пример довольно простой. LLM должна ответить на вопрос: “Кто должен подписать возврат клиенту на 800 фунтов в марте?”. Ответ, естественно, содержится в предоставленных текстах, но для того, чтобы его добыть, нужно уметь в multi-hop reasoning, т.к. необходимая информация лежит в 3х разных местах:

https://habr.com/ru/articles/1079748/

#llm #gptoss #gemma4 #llama31 #xlam #local_llm #rag #graphrag #reasoning #test

Как с помощью graph RAG добиться многоходовых рассуждений от LLM с 2B весов

Пару недель назад YouTube подкинул мне пятиминутный ролик с небольшого канала, где автор демонстрирует преимущества RAG на графах над обычным RAG поверх корпуса текстов. Пример довольно простой. LLM должна ответить на вопрос: “Кто должен подписать возврат клиенту на 800 фунтов в марте?”. Ответ, естественно, содержится в предоставленных текстах, но для того, чтобы его добыть, нужно уметь в multi-hop reasoning, т.к. необходимая информация лежит в 3х разных местах:

https://habr.com/ru/articles/1079748/

#llm #gptoss #gemma4 #llama31 #xlam #local_llm #rag #graphrag #reasoning #test

Как с помощью graph RAG добиться многоходовых рассуждений от LLM с 2B весов

Пару недель назад YouTube подкинул мне пятиминутный ролик с небольшого канала, где автор демонстрирует преимущества RAG на графах над обычным RAG поверх корпуса текстов. Пример довольно простой. LLM должна ответить на вопрос: “Кто должен подписать возврат клиенту на 800 фунтов в марте?”. Ответ, естественно, содержится в предоставленных текстах, но для того, чтобы его добыть, нужно уметь в multi-hop reasoning, т.к. необходимая информация лежит в 3х разных местах:

https://habr.com/ru/articles/1079748/

#llm #gptoss #gemma4 #llama31 #xlam #local_llm #rag #graphrag #reasoning #test

Altro esperimento didattico, usare #AI in classe con #llama31 o la versione nuova #hermes3, il contesto a 128K (ma effettivamente usabili 20k sul computer domestico) consente di usarlo molto meglio di come usavamo Gpt3.5 2 anni fa!!! e in questo modo diventiamo annche piu' ecologici. `https://salahzar.com/2024/08/17/ai-da-divoratrice-di-energia-a-campione-di-efficienza-e-con-hermes-riduciamo-ancora-di-piu/

Altro esperimento didattico, usare #AI in classe con #llama31 o la versione nuova #hermes3, il contesto a 128K (ma effettivamente usabili 20k sul computer domestico) consente di usarlo molto meglio di come usavamo Gpt3.5 2 anni fa!!! e in questo modo diventiamo annche piu' ecologici. `https://salahzar.com/2024/08/17/ai-da-divoratrice-di-energia-a-campione-di-efficienza-e-con-hermes-riduciamo-ancora-di-piu/