#llama-3-1 — Public Fediverse posts

🎯 Supported models include #GPT-OSS-120B, #GPT-OSS-20B, #Llama4 Maverick, #Llama4 Scout, #Llama33-70B, #Llama31-8B, #KimiK2, #Qwen3-32B

🔧 Key features: deterministic inference for faster tool-using agents, cost-effective scaling, approved tool use with clear allowlists, seamless migration capability

📋 Ready-to-use cookbook tutorials with #BrowserBase #MCP, #BrowserUse #MCP, #Exa #MCP, #Firecrawl #MCP, #HuggingFace #MCP, #Parallel #MCP, #Stripe #MCP, #Tavily #MCP

Cisco udostępnia otwarty model AI dla cyberbezpieczeństwa. Ma być skuteczniejszy niż ChatGPT

Firma Cisco zaprezentowała nową, udoskonaloną wersję swojego specjalistycznego modelu językowego do zadań z zakresu cyberbezpieczeństwa.

Nowy model, Llama-3.1-FoundationAI-SecurityLLM-instruct-8B (w skrócie Foundation-sec-8B-Instruct), został zaprojektowany tak, aby działać jak gotowy do użycia, inteligentny asystent dla analityków bezpieczeństwa, rozumiejący polecenia w języku naturalnym zaraz po uruchomieniu.

Nowa wersja jest odpowiedzią na potrzeby społeczności. Jej poprzednik, model bazowy zaprezentowany w kwietniu, udowodnił, że mały, wyspecjalizowany model (8 miliardów parametrów) potrafi w testach branżowych przewyższyć znacznie większe, uniwersalne modele językowe. Brakowało mu jednak prostoty obsługi – wymagał dodatkowej konfiguracji. Nowy Foundation-sec-8B-Instruct rozwiązuje ten problem, łącząc specjalistyczną wiedzę z elastycznością i łatwością użycia znaną z popularnych chatbotów.

Gigantyczna platforma AI pod ochroną Cisco. ClamAV przeskanuje miliony modeli

Mały, ale potężny i gotowy do działania

Foundation-sec-8B-Instruct został wytrenowany wyłącznie na danych z zakresu bezpieczeństwa, a następnie dostrojony do wykonywania poleceń. Dzięki temu potrafi bez dodatkowego treningu realizować takie zadania jak tworzenie podsumowań, analiza sentymentu czy odpowiadanie na złożone pytania dotyczące cyberbezpieczeństwa. Model rozumie role w konwersacji, co pozwala na prowadzenie rozbudowanych dialogów i tworzenie zautomatyzowanych agentów.

Kluczową zaletą jest jego kompaktowa architektura. Model może być uruchomiony na pojedynczym procesorze graficznym (GPU), co czyni go dostępnym także dla organizacji o ograniczonych zasobach sprzętowych. Jest to w pełni otwarte oprogramowanie (open-source), co pozwala na jego wdrażanie lokalnie, w środowiskach odizolowanych od internetu (air-gapped) czy na urządzeniach brzegowych, bez uzależniania się od jednego dostawcy.

Praktyczne zastosowania w SOC i AppSec

Model został już przetestowany w realnych warunkach przez zespoły bezpieczeństwa, w tym w Cisco CSIRT i Cisco XDR. W centrach operacji bezpieczeństwa (SOC) wykorzystano go do klasyfikacji alertów, mapowania wskaźników zagrożeń do taktyk z bazy MITRE ATT&CK czy rekonstrukcji osi czasu incydentów, co znacząco przyspieszyło proces analizy i zredukowało liczbę fałszywych alarmów.

Z kolei zespoły odpowiedzialne za bezpieczeństwo aplikacji (AppSec) użyły modelu do symulacji ścieżek ataku, analizy kodu pod kątem wytycznych OWASP i generowania niestandardowych scenariuszy testowych, co pozwoliło na bardziej proaktywne podejście do zabezpieczania oprogramowania.

Plany na przyszłość

Cisco zapowiada dalszy, intensywny rozwój modelu. W planach jest m.in. rozszerzenie okna kontekstu do 16 tysięcy tokenów (co pozwoli analizować całe zbiory logów), obsługa wejść multimodalnych (np. zrzutów ekranu i logów w jednej konwersacji) oraz stworzenie jeszcze potężniejszej wersji o wielkości 70 miliardów parametrów.

Model Foundation-sec-8B-Instruct jest już publicznie dostępny na platformie Hugging Face, wraz z pełną dokumentacją i przykładami zastosowań.

Sztuczna inteligencja to miecz obosieczny dla naszej cyfrowej tożsamości. Nowy raport Cisco

#AI #AppSec #Cisco #cyberbezpieczeństwo #HuggingFace #Llama31 #LLM #MITREATTCK #modelJęzykowy #news #openSource #SoC #sztucznaInteligencja

Teste gerade #ollama bzw. #Llama31 lokal auf dem i7, dem XPS und dem MBA. Bin positiv überrascht, wie gut dies auf den beiden Laptops, trotz der Hardware (m1 bzw i5 & 8 GB RAM), läuft.

https://ollama.com/

EXO Labs ha creado un clúster con cuatro Mac Mini M4 y un MacBook Pro M4 para ejecutar localmente LLMs IA como Llama-3.1 405B de Meta, Nemotron 70B de Nvidia y Qwen 2.5 Coder-32B de Alibaba Cloud

#InteligenciaArtificial #LLM #LLMs #opensource #tech #Llama31 #qwen25 #Nemotron70b #AI #MacMini #MacBookPro

https://mecambioamac.com/exo-labs-conecto-cuatro-mac-mini-m4-para-ejecutar-llama-3-3-70b-de-meta/

Основы промптинга и математические возможности моделей Llama

Меня зовут Грибанов Никита, я Data Scientist в отделе R`n`D&ML компании Raft Digital Solutions, и сегодня я расскажу о больших языковых моделях. На данный момент в мире их существует уже более 39 тысяч! Далее буду называть их хайповым названием LLM (Large Language Model). В этой статье вы сначала узнаете новые или освежите в памяти уже известные вам основы общения с языковыми моделями. Затем разберёте пару реальных примеров настройки запросов и увидите математические возможности Llama 3.2 3B в сравнении с Llama 3.1 8B. Для достижения хороших результатов при решении различных задач с помощью LLM, с ними как и с людьми, нужно уметь правильно общаться. Как же это сделать?

https://habr.com/ru/companies/raft/articles/863478/

#llama32 #llama31 #llm #prompt #promptengineering #mathematics #begginers

Как мы обучали LLM для поиска уязвимостей в смарт-контрактах Solidity

Наша команда в Positive Technologies занимается анализом безопасности смарт-контрактов, исследованием уязвимостей и разработкой инструментов для их обнаружения. Идея использовать LLM для анализа смарт-контрактов Solidity показалась крайне заманчивой. Загрузить код, запустить модель — и она сама находит уязвимости, генерирует отчет, а иногда даже предлагает исправления. Звучит отлично! Но, как показал мой опыт, между «звучит» и «работает» лежит огромная пропасть.

https://habr.com/ru/companies/pt/articles/860476/

#llm #lora #blockchain #solidity #уязвимости #llama31 #chatgpt #промпт

I told Llama3.1: "There is no wrong place to insert Uranus." and after a rambling talk about Uranus stats, it says...

> So, go ahead and insert Uranus wherever your mind dares to wander! Just remember: the real Uranus is quite far away from us Earthlings, so no actual insertion necessary.

And the #SD15 image generator we run after each response gave this picture.

#llama31 #llm #ircawp

NVIDIA анонсировала новую модель искусственного интеллекта Llama-3.1-Nemotron-51B, основанную на предыдущей Llama-3.1-70B от Meta*.

Эта модель, содержащая 51 миллиард параметров, использует технологию Neural Architecture Search для оптимизации, что способствует снижению потребления ресурсов.

-ИИ может работать всего на одном графическом процессоре NVIDIA H100, что делает её более доступной для пользователей.

Новый подход увеличивает скорость вывода в 2,2 раза, и позволяет обрабатывать объемы в 4 раза больше, при неизменной точности.
==============
Meta* признана в РФ экстремистской :blobfoxcryreach:

src: https://developer.nvidia.com/blog/advancing-the-accuracy-efficiency-frontier-with-llama-3-1-nemotron-51b/

#ai #llama #nvidia #Llama31 #meta #facebook

I had #Llama31 summarize an article and I screamed at it and it screamed back. Fair play, sir.

#llm

Working with my AI chef – The Future is Open https://donwatkins.info/2024/09/16/working-with-my-ai-chef/ #ollama #llama31 #AI #artificialintelligence #cooking

Wow, #LLama31 sure knows a lot about Homestar Runner.

#llm

Aha - some refining of the system prompt later - I asked it to switch to a new maths topic - decimals, and it actually asked me what aspect of decimals I wanted to practice next!

#ollama #llama31 #oterm

Suite de mes aventures avec #llama31 (dernière mise à jour datant de quelques jours), sur un PC Windows avec un GPU (pas certain qu’il soit utilisé, mais c’est plus rapide qu’avec la VM linux).
Toujours mon carré de la racine carrée de 512. Accrochez-vous, ça pique :

La racine carrée de 512 est
√512 = √(8²) = 8
Et le carré de 8 est
8² = 64
Donc, le carré de la racine carrée de 512 est 64.

La seconde itération est encore plus stupide : il donne la bonne réponse immédiatement puis dérape :)

@TriflingTree I took the Alt from your first image and use it as the prompt for #fluxai. I have read in reddit that the quality is comparable to #dalle3 .
The first image is the description from your post, the second one is a variation of that description using an #llm, specifically #llama31.
What do you think?

Llama 3.1: Deshalb verschenkt Mark Zuckerberg seine künstliche Intelligenz | ZEIT ONLINE
https://www.zeit.de/digital/2024-07/llama-3-1-meta-kuenstliche-intelligenz-kostenlos-open-source-facebook #KI #KISprachmodell #Llama31

Meta Llama 3.1 now available on Workers AI

Link

Ok, dann muss #LLama31:70b wohl genügen.
#LLM #llama3 #ai #LocalAI

Die Eckdaten laut dem "The Information"-Artikel: 7 Milliarden Dollar Trainings- und KI-Betriebskosten im Jahr, dazu 1,5 Milliarden Personalkosten - und nach Abzug der Einnahmen ein Loch von 5 Milliarden Dollar jährlich. Und: seit der Veröffentlichung von #Llama31-405B gestern Open-Source-Konkurrenz auf technisch vergleichbarem Niveau. Von Konkurrenten wie Anthropic (Geld von Google) ganz zu schweigen.

👉 Llama 3.1: l'IA open source supera i modelli IA di Anthropic e OpenAI

https://gomoot.com/llama-3-1-lia-open-source-supera-i-modelli-di-anthropic-e-openai

@elonmusk #AI #blog #Claude #gpt4 #gpt4o #gpt5 #groq #ia #Llama #llama31 #LLM #Meta #news #opensource #opus35 #perplexity #picks #PoE #sonnet35 #tech #tecnologia #token