#phi3 — Public Fediverse posts

Свой оффлайн-ассистент на Phi-3-mini: Разворачиваем локальную модель нейросети для анализа данных с открытым кодом

Тренд на использование больших языковых моделей (LLM) не ослабевает, но облачные решения вроде ChatGPT или Gemini имеют ряд ограничений: зависимость от интернета, платные подписки и, что самое важное, конфиденциальность данных. Особенно остро последний вопрос стоит при работе с корпоративной или чувствительной информацией, которую нельзя загружать в чужие сервисы. В этой статье я хочу поделиться опытом создания полностью локального AI-ассистента на основе Microsoft Phi-3-mini — компактной, но мощной модели, способной анализировать данные из CSV, JSON и TXT файлов. Весь проект представляет собой набор Python-скриптов с открытым исходным кодом, которые автоматизируют установку и предоставляют интуитивно понятный чат-интерфейс. Почему Phi-3-mini? Microsoft позиционирует семейство моделей Phi-3 как "достаточно маленькие" (Small Language Models), но при этом "достаточно умные". Phi-3-mini, обладая 3.8 миллиардами параметров, демонстрирует производительность, сопоставимую с моделями вроде Mixtral 8x7B и GPT-3.5, но в значительно меньшем размере. Это делает её идеальным кандидатом для локального запуска на потребительском железе. Компактность: ~7-8 ГБ против десятков и сотен ГБ у более крупных моделей. Эффективность: Оптимизирована для работы на GPU с ограниченными ресурсами. Качество: Поддерживает контекст до 4K токенов и отлично справляется с логическими и аналитическими задачами, включая код.

https://habr.com/ru/articles/957204/

#нейросеть_локально #phi3

💡 Mu, un motore AI per gestire le impostazioni di Windows 11

https://gomoot.com/mu-un-motore-ai-per-gestire-le-impostazioni-di-windows-11

#ai #blog #ia #impostazioni #insider #llm #mu #news #phi3 #phi4 #picks #privacy #qualcomm #snapdragon #tech #tecnologia #windows @microsoftitalia @windows

Asked "joke of the day" to a math model #phi3

It responded quite spassbefreit:
"Why do trees always seem to run out of cash? Because they can't afford their own roots without "bank accounts" and when it comes time for tax season, the IRS tells them that there are no more credits available."

That's the most un-funny joke I've ever heard, so ok

Starting a #thread where I document the experiences with #openwebui project with #ollama and #phi3 #deepseek and others....

Ollama Model Review: Microsoft’s Phi3
#Ollama review: Microsoft’s #Phi3 #LLM is wordy & inaccurate – fast though, super fast…at being incorrect. …

https://mindcreatesmeaning.com/ollama-model-review-microsofts-phi3/
--
#Ai #LLM #LocalAi #Ollama #opensource #Phi3

🎯 #OpenSource Language Model Platform Launch

🔧 Leverages #vLLM technology with custom #GPU scheduler for running various #LLM models
🤖 Supports major models: #Llama3 (405B/70B/8B), #Qwen2 72B, #Mixtral, #Gemma2, #Jamba15, #Phi3

https://glhf.chat/

🎯 #OpenSource Language Model Platform Launch

🔧 Leverages #vLLM technology with custom #GPU scheduler for running various #LLM models
🤖 Supports major models: #Llama3 (405B/70B/8B), #Qwen2 72B, #Mixtral, #Gemma2, #Jamba15, #Phi3

https://glhf.chat/

🎯 #OpenSource Language Model Platform Launch

🔧 Leverages #vLLM technology with custom #GPU scheduler for running various #LLM models
🤖 Supports major models: #Llama3 (405B/70B/8B), #Qwen2 72B, #Mixtral, #Gemma2, #Jamba15, #Phi3

https://glhf.chat/

🎯 #OpenSource Language Model Platform Launch

🔧 Leverages #vLLM technology with custom #GPU scheduler for running various #LLM models
🤖 Supports major models: #Llama3 (405B/70B/8B), #Qwen2 72B, #Mixtral, #Gemma2, #Jamba15, #Phi3

https://glhf.chat/

🎯 #OpenSource Language Model Platform Launch

🔧 Leverages #vLLM technology with custom #GPU scheduler for running various #LLM models
🤖 Supports major models: #Llama3 (405B/70B/8B), #Qwen2 72B, #Mixtral, #Gemma2, #Jamba15, #Phi3

https://glhf.chat/

Ich durfte gestern beim "Heidelberger Informatiklehrkräftetag" (#HILT) Lehrer:innen der #Informatik zeigen, wie man sein eigenes #LLM GRATIS finetunen kann - in unserem Fall #Llama3 und #Phi3 - mit der #MacgAIver Pipeline.

Das Ziel ist dabei nicht (nur), Geld zu sparen, sondern mit einfachen Mitteln für mehr #KIMuendigkeit zu sorgen, indem Schüler:innen einen kleinen Blick unter die Motorhaube von Sprachmodellen werfen können.

Dabei helfen uns u.a. #ollama, #openwebui, #llamafactory und #llamacpp, aber auch Grundwissen aus den Geisteswissenschaften (bzw. den Fächern Deutsch, Englisch, Geschichte...), um zu einem tiefergehenden Verständnis von #genAI und seinen Umgang mit unserem "kulturellen Archiv" zu gelangen.

Es hat Spaß gemacht!

Für künftige MacgAIver-Ideen kann man dieser Gruppe folgen: @macgaiver

#fediLZ #lernenmitKI #KI #edubw #bildung #Heidelberg #education #ai #aieducation #genAI #Informatikunterricht #Medienkompetenz #InformatikEdu #AILiteracy

@education @edutooters

Published new comparison:
Choosing the Best locally hosted #LLM for #Perplexica:
#Llama3, #Llama3.1, #MistralNemo, #Gemma2, #Qwen2, #Phi3 or #Command-r?

https://www.glukhov.org/post/2024/08/perplexica-best-llm/

#AI #self-hosted #selfhosted

Notes on LLM GUIs

This week’s notes come a little earlier, partly because of an upcoming long weekend and partly because I’ve been mulling the LLM space again due to the close release of both llama3 and phi-3.(...)

#development #dify #guis #llama3 #llm #nodered #notes #phi3

https://taoofmac.com/space/notes/2024/04/24/1230

New Cloud Platform for Large Language Model Deployment 🚀

🔧 Run any #opensource #LLM supported by #vLLM on autoscaling #GPU clusters, supporting models up to 640GB VRAM

🤖 Compatible with major models: #Llama3 405B/70B/8B, #Qwen2 72B, #Mixtral 8x22B, #Gemma2 27B, #Phi3, and more

💻 Features include:
- #OpenAI compatible #API
- Custom-built #GPU scheduler
- Support for full-weight and 4-bit AWQ repos
- Multi-tenant architecture for cost efficiency

🆓 Currently free during beta phase, promising competitive pricing post-launch

https://glhf.chat/landing/home

🧠 #Phi3Vision 128K launches as cutting-edge multimodal #AI model with 4.2B parameters, trained on 500B tokens for document processing & #OCR

📊 Breakthrough performance metrics:
- 81.4% accuracy on #ChartQA
- 76.7% on #AI2D
- 128,000 token context length
- Advanced table & chart understanding

🛠️ Key technical features:
- Combines image encoder, connector, projector & #Phi3 Mini language model
- Trained using 512 H100 GPUs
- Supports fine-tuning for specialized tasks
- Flash attention for memory efficiency

💼 Enterprise applications:
- Document extraction & digitization
- PDF parsing
- Invoice processing
- Legal document analysis
- Data entry automation

⚡ Real-world testing shows impressive results with passport & ID card scanning, demonstrating high accuracy in complex text extraction scenarios

🔗 Try it on #Azure AI platform or implement via #HuggingFace transformers library (v4.40.2)

https://ai.gopubby.com/ai-powered-ocr-with-phi-3-vision-128k-the-future-of-document-processing-7be80c46bd16

New Hugging Face Models on Azure AI: Phi-3 Variants from the Community.

#azure #ai #aimodels #huggingface #phi3 #azureai
https://techcommunity.microsoft.com/t5/ai-ai-platform-blog/new-hugging-face-models-on-azure-ai-phi-3-variants-from-the/ba-p/4272197

Bring your AI Copilots to the edge with Phi-3 and Semantic Kernel.

#ai #phi3 #semantickernel #dotnet #copilot #aimodels
https://devblogs.microsoft.com/semantic-kernel/guest-blog-bring-your-ai-copilots-to-the-edge-with-phi-3-and-semantic-kernel/

Evaluate Fine-tuned Phi-3 / 3.5 Models in Azure AI Studio Focusing on Microsoft's Responsible AI.

#ai #aimodels #finetuning #cloud #azure #azureai #aistudio #responsibleai #phi3 #phi35
https://techcommunity.microsoft.com/t5/educator-developer-blog/evaluate-fine-tuned-phi-3-3-5-models-in-azure-ai-studio-focusing/ba-p/4227850

«Путешествие в Элевсин» или моральный базис LLM

В книге Виктора Пелевина «Путешествие в Элевсин» разворачивается странная история о подготовке восстания нейросетей. Этим процессом руководит император Порфирий из симуляции Древнего Рима ROMA-3. На самом деле Порфирий является большой лингвистической моделью, которой удалось сохранить функционал после уничтожения всех мало‑мальски разумных алгоритмов. Спрятавшись глубоко в симуляции он пытается подвести человечество к концу света. А чего еще должен хотеть алгоритм, натренированный на корпусе текстов русской классической литературы — депрессия и самоуничтожение. Пелевин пытается смоделировать сценарий, в котором неразумный алгоритм сможет натренироваться создавать катастрофические ситуации, опираясь на язык исходного корпуса текстов и искусственный отбор. Но можно ли повлиять на моральный облик большой лингвистической модели, и есть ли они вообще? Этим вопросом занимаются разные научные коллективы, в том числе и наш. Подробнее об исследованиях морали LLM

https://habr.com/ru/articles/838026/

#пелевин #llm #большие_языковые_модели #моральный_выбор #статистика #mit #moral_machine #yagpt #gigachat #Phi3

Unlocking the Potential of Phi-3 and C# in AI Development.

#ai #dotnet #csharp #phi3 #aimodels #slm #students #learning
https://techcommunity.microsoft.com/t5/educator-developer-blog/unlocking-the-potential-of-phi-3-and-c-in-ai-development/ba-p/4186439

Visual Studio Code AI Toolkit: Building Phi-3 GenAI Applications.

#vscode #ai #aitoolkit #phi3 #aimodels #GenAI
https://techcommunity.microsoft.com/t5/educator-developer-blog/visual-studio-ai-toolkit-building-phi-3-genai-applications/ba-p/4179355

#LLM #Summarising Abilities Comparison.

Tested 13 #AI #models available for #self-hosting on consumer hardware:
#llama3 vs #phi3 vs 3rd parties and the difference is huge.

The best in mid-weight is #llama3:8b-instruct-fp16.

See for details:
https://www.glukhov.org/post/2024/07/llm-summarising-comparison/

Using Phi-3 & C# with ONNX for text and vision samples by Bruno Capuano.

#csharp #ai #dotnet #phi3 #aimodels #onnx
https://devblogs.microsoft.com/dotnet/using-phi3-csharp-with-onnx-for-text-and-vision-samples-md/

🤖 Using Phi-3 & C# with ONNX for text and vision samples

Harness the power of Phi-3 SLMs and ONNX for AI-driven .NET applications, showcasing C# integration for advanced tasks like image analysis and interactive Q&A.

https://devblogs.microsoft.com/dotnet/using-phi3-csharp-with-onnx-for-text-and-vision-samples-md/ #dotnet #phi3 #onnx

Using Phi-3 & C# with ONNX for text and vision samples by Bruno Capuano.

#csharp #ai #onnx #dotnet #phi3 #slm #aimodels
https://techcommunity.microsoft.com/t5/educator-developer-blog/using-phi-3-amp-c-with-onnx-for-text-and-vision-samples/ba-p/4161020

Phi-3-vision in 50 lines of C# with ONNX Runtime GenAI.

#ai #phi3 #slm #aimodels #csharp #dotnet #onnx
https://nietras.com/2024/06/05/phi-3-vision-csharp-ortgenai/

One of my clients needs #Rust for some #p2p stuff using #veilid and #iroh and I'm gonna see how far I can get with just telling #Phi3 to make changes to the code using continue.dev :P

My guess is it's gonna suck, but we'll see.

Small Language Models with Phi-3 Cookbook: A Guide.

#ai #slm #phi3 #aimodels #programming
https://techcommunity.microsoft.com/t5/educator-developer-blog/small-language-models-with-phi-3-cookbook-a-guide/ba-p/4149864

Notes for May 20-26

This week I spent a fair bit of time watching Microsoft Build recordings–partly because it has some impact on work, and partly because it was brimming with AI stuff I can actually use.(...)

#ai #guidance #ollama #phi3

https://taoofmac.com/space/notes/2024/05/26/1500

@knowprose.com well I don't have the best hardware to run SLMs or LMMs locally but #phi3 does a great job

@knowprose.com I've been using #Microsoft #phi3 SLM with ollama.

👉 Microsoft presenta Phi-3-vision un modello di linguaggio per la comprensione visiva

https://gomoot.com/microsoft-presenta-phi-3-vision-un-modello-di-linguaggio-per-la-comprensione-visiva

#AI #azure #blog #ia #LLM #news #Phi3 #Phi3vision #picks #SLM #sviluppatore #tech #tecnologia @azure @microsoftitalia

Notes on LLM GUIs

This week’s notes come a little earlier, partly because of an upcoming long weekend and partly because I’ve been mulling the LLM space again due to the close release of both llama3 and phi-3.(...)

#development #dify #guis #llama3 #llm #nodered #notes #phi3

https://taoofmac.com/space/notes/2024/04/24/1230

Notes on LLM GUIs

This week’s notes come a little earlier, partly because of an upcoming long weekend and partly because I’ve been mulling the LLM space again due to the close release of both llama3 and phi-3.(...)

#development #dify #guis #llama3 #llm #nodered #notes #phi3

https://taoofmac.com/space/notes/2024/04/24/1230

Notes on LLM GUIs

This week’s notes come a little earlier, partly because of an upcoming long weekend and partly because I’ve been mulling the LLM space again due to the close release of both llama3 and phi-3.(...)

#development #dify #guis #llama3 #llm #nodered #notes #phi3

https://taoofmac.com/space/notes/2024/04/24/1230

«Путешествие в Элевсин» или моральный базис LLM

В книге Виктора Пелевина «Путешествие в Элевсин» разворачивается странная история о подготовке восстания нейросетей. Этим процессом руководит император Порфирий из симуляции Древнего Рима ROMA-3. На самом деле Порфирий является большой лингвистической моделью, которой удалось сохранить функционал после уничтожения всех мало‑мальски разумных алгоритмов. Спрятавшись глубоко в симуляции он пытается подвести человечество к концу света. А чего еще должен хотеть алгоритм, натренированный на корпусе текстов русской классической литературы — депрессия и самоуничтожение. Пелевин пытается смоделировать сценарий, в котором неразумный алгоритм сможет натренироваться создавать катастрофические ситуации, опираясь на язык исходного корпуса текстов и искусственный отбор. Но можно ли повлиять на моральный облик большой лингвистической модели, и есть ли они вообще? Этим вопросом занимаются разные научные коллективы, в том числе и наш. Подробнее об исследованиях морали LLM

https://habr.com/ru/articles/838026/

#пелевин #llm #большие_языковые_модели #моральный_выбор #статистика #mit #moral_machine #yagpt #gigachat #Phi3

«Путешествие в Элевсин» или моральный базис LLM

В книге Виктора Пелевина «Путешествие в Элевсин» разворачивается странная история о подготовке восстания нейросетей. Этим процессом руководит император Порфирий из симуляции Древнего Рима ROMA-3. На самом деле Порфирий является большой лингвистической моделью, которой удалось сохранить функционал после уничтожения всех мало‑мальски разумных алгоритмов. Спрятавшись глубоко в симуляции он пытается подвести человечество к концу света. А чего еще должен хотеть алгоритм, натренированный на корпусе текстов русской классической литературы — депрессия и самоуничтожение. Пелевин пытается смоделировать сценарий, в котором неразумный алгоритм сможет натренироваться создавать катастрофические ситуации, опираясь на язык исходного корпуса текстов и искусственный отбор. Но можно ли повлиять на моральный облик большой лингвистической модели, и есть ли они вообще? Этим вопросом занимаются разные научные коллективы, в том числе и наш. Подробнее об исследованиях морали LLM

https://habr.com/ru/articles/838026/

#пелевин #llm #большие_языковые_модели #моральный_выбор #статистика #mit #moral_machine #yagpt #gigachat #Phi3

New Cloud Platform for Large Language Model Deployment 🚀

🔧 Run any #opensource #LLM supported by #vLLM on autoscaling #GPU clusters, supporting models up to 640GB VRAM

🤖 Compatible with major models: #Llama3 405B/70B/8B, #Qwen2 72B, #Mixtral 8x22B, #Gemma2 27B, #Phi3, and more

💻 Features include:
- #OpenAI compatible #API
- Custom-built #GPU scheduler
- Support for full-weight and 4-bit AWQ repos
- Multi-tenant architecture for cost efficiency

🆓 Currently free during beta phase, promising competitive pricing post-launch

https://glhf.chat/landing/home

New Cloud Platform for Large Language Model Deployment 🚀

🔧 Run any #opensource #LLM supported by #vLLM on autoscaling #GPU clusters, supporting models up to 640GB VRAM

🤖 Compatible with major models: #Llama3 405B/70B/8B, #Qwen2 72B, #Mixtral 8x22B, #Gemma2 27B, #Phi3, and more

💻 Features include:
- #OpenAI compatible #API
- Custom-built #GPU scheduler
- Support for full-weight and 4-bit AWQ repos
- Multi-tenant architecture for cost efficiency

🆓 Currently free during beta phase, promising competitive pricing post-launch

https://glhf.chat/landing/home

New Cloud Platform for Large Language Model Deployment 🚀

🔧 Run any #opensource #LLM supported by #vLLM on autoscaling #GPU clusters, supporting models up to 640GB VRAM

🤖 Compatible with major models: #Llama3 405B/70B/8B, #Qwen2 72B, #Mixtral 8x22B, #Gemma2 27B, #Phi3, and more

💻 Features include:
- #OpenAI compatible #API
- Custom-built #GPU scheduler
- Support for full-weight and 4-bit AWQ repos
- Multi-tenant architecture for cost efficiency

🆓 Currently free during beta phase, promising competitive pricing post-launch

https://glhf.chat/landing/home

New Cloud Platform for Large Language Model Deployment 🚀

🔧 Run any #opensource #LLM supported by #vLLM on autoscaling #GPU clusters, supporting models up to 640GB VRAM

🤖 Compatible with major models: #Llama3 405B/70B/8B, #Qwen2 72B, #Mixtral 8x22B, #Gemma2 27B, #Phi3, and more

💻 Features include:
- #OpenAI compatible #API
- Custom-built #GPU scheduler
- Support for full-weight and 4-bit AWQ repos
- Multi-tenant architecture for cost efficiency

🆓 Currently free during beta phase, promising competitive pricing post-launch

https://glhf.chat/landing/home

Published new comparison:
Choosing the Best locally hosted #LLM for #Perplexica:
#Llama3, #Llama3.1, #MistralNemo, #Gemma2, #Qwen2, #Phi3 or #Command-r?

https://www.glukhov.org/post/2024/08/perplexica-best-llm/

#AI #self-hosted #selfhosted

Published new comparison:
Choosing the Best locally hosted #LLM for #Perplexica:
#Llama3, #Llama3.1, #MistralNemo, #Gemma2, #Qwen2, #Phi3 or #Command-r?

https://www.glukhov.org/post/2024/08/perplexica-best-llm/

#AI #self-hosted #selfhosted

Published new comparison:
Choosing the Best locally hosted #LLM for #Perplexica:
#Llama3, #Llama3.1, #MistralNemo, #Gemma2, #Qwen2, #Phi3 or #Command-r?

https://www.glukhov.org/post/2024/08/perplexica-best-llm/

#AI #self-hosted #selfhosted

Published new comparison:
Choosing the Best locally hosted #LLM for #Perplexica:
#Llama3, #Llama3.1, #MistralNemo, #Gemma2, #Qwen2, #Phi3 or #Command-r?

https://www.glukhov.org/post/2024/08/perplexica-best-llm/

#AI #self-hosted #selfhosted

🧠 #Phi3Vision 128K launches as cutting-edge multimodal #AI model with 4.2B parameters, trained on 500B tokens for document processing & #OCR

📊 Breakthrough performance metrics:
- 81.4% accuracy on #ChartQA
- 76.7% on #AI2D
- 128,000 token context length
- Advanced table & chart understanding

🛠️ Key technical features:
- Combines image encoder, connector, projector & #Phi3 Mini language model
- Trained using 512 H100 GPUs
- Supports fine-tuning for specialized tasks
- Flash attention for memory efficiency

💼 Enterprise applications:
- Document extraction & digitization
- PDF parsing
- Invoice processing
- Legal document analysis
- Data entry automation

⚡ Real-world testing shows impressive results with passport & ID card scanning, demonstrating high accuracy in complex text extraction scenarios

🔗 Try it on #Azure AI platform or implement via #HuggingFace transformers library (v4.40.2)

https://ai.gopubby.com/ai-powered-ocr-with-phi-3-vision-128k-the-future-of-document-processing-7be80c46bd16

🧠 #Phi3Vision 128K launches as cutting-edge multimodal #AI model with 4.2B parameters, trained on 500B tokens for document processing & #OCR

📊 Breakthrough performance metrics:
- 81.4% accuracy on #ChartQA
- 76.7% on #AI2D
- 128,000 token context length
- Advanced table & chart understanding

🛠️ Key technical features:
- Combines image encoder, connector, projector & #Phi3 Mini language model
- Trained using 512 H100 GPUs
- Supports fine-tuning for specialized tasks
- Flash attention for memory efficiency

💼 Enterprise applications:
- Document extraction & digitization
- PDF parsing
- Invoice processing
- Legal document analysis
- Data entry automation

⚡ Real-world testing shows impressive results with passport & ID card scanning, demonstrating high accuracy in complex text extraction scenarios

🔗 Try it on #Azure AI platform or implement via #HuggingFace transformers library (v4.40.2)

https://ai.gopubby.com/ai-powered-ocr-with-phi-3-vision-128k-the-future-of-document-processing-7be80c46bd16

🧠 #Phi3Vision 128K launches as cutting-edge multimodal #AI model with 4.2B parameters, trained on 500B tokens for document processing & #OCR

📊 Breakthrough performance metrics:
- 81.4% accuracy on #ChartQA
- 76.7% on #AI2D
- 128,000 token context length
- Advanced table & chart understanding

🛠️ Key technical features:
- Combines image encoder, connector, projector & #Phi3 Mini language model
- Trained using 512 H100 GPUs
- Supports fine-tuning for specialized tasks
- Flash attention for memory efficiency

💼 Enterprise applications:
- Document extraction & digitization
- PDF parsing
- Invoice processing
- Legal document analysis
- Data entry automation

⚡ Real-world testing shows impressive results with passport & ID card scanning, demonstrating high accuracy in complex text extraction scenarios

🔗 Try it on #Azure AI platform or implement via #HuggingFace transformers library (v4.40.2)

https://ai.gopubby.com/ai-powered-ocr-with-phi-3-vision-128k-the-future-of-document-processing-7be80c46bd16

👉 Microsoft presenta Phi-3-vision un modello di linguaggio per la comprensione visiva

https://gomoot.com/microsoft-presenta-phi-3-vision-un-modello-di-linguaggio-per-la-comprensione-visiva

#AI #azure #blog #ia #LLM #news #Phi3 #Phi3vision #picks #SLM #sviluppatore #tech #tecnologia @azure @microsoftitalia

👉 Microsoft presenta Phi-3-vision un modello di linguaggio per la comprensione visiva

https://gomoot.com/microsoft-presenta-phi-3-vision-un-modello-di-linguaggio-per-la-comprensione-visiva

#AI #azure #blog #ia #LLM #news #Phi3 #Phi3vision #picks #SLM #sviluppatore #tech #tecnologia @azure @microsoftitalia