#badaniaapple — Public Fediverse posts

Apple opracowuje model językowy, który generuje długie teksty nawet 128 razy szybciej

Naukowcy Apple i Ohio State University przedstawili nowy model językowy FS-DFM (Few-Step Discrete Flow-Matching), zdolny do generowania pełnych fragmentów tekstu w zaledwie 8 szybkich krokach, osiągając jakość porównywalną z tradycyjnymi modelami dyfuzyjnymi wymagającymi ponad tysiąca iteracji.

Kluczowe różnice:

• Autoregresywne modele LLM (np. ChatGPT) generują tekst sekwencyjnie, token po tokenie.
• Modele dyfuzyjne wytwarzają wiele tokenów jednocześnie, udoskonalając je w wielu krokach.
• Flow-matching pozwala uzyskać końcowy wynik w jednym przebiegu, pomijając wieloetapowe iteracje.

FS-DFM korzysta z trzystopniowej metody: dostosowuje się do różnych liczby iteracji, wspiera go model „nauczycielski” dla większej precyzji oraz optymalizuje każdy krok, aby przyspieszyć generowanie tekstu.

W testach model osiągnął niższą perplexity (dokładniejszy, naturalniejszy tekst) i stabilniejszą entropię (bardziej spójny dobór słów) w porównaniu z większymi modelami dyfuzyjnymi, nawet przy mniejszej liczbie parametrów (1,7 – 0,17 mld).

Apple planuje udostępnić kod i checkpointy FS-DFM, aby umożliwić dalsze badania i reprodukcję wyników.

#AI #AIresearch #Apple #arXiv #badaniaApple #dyfuzja #flowmatching #FSDFM #generowanietekstu #innowacjeAI #LLM #modelejęzykowe #NLP #sztucznainteligencja #szybkiegenerowanietekstu #technologia

Apple opracowuje model językowy, który generuje długie teksty nawet 128 razy szybciej

Naukowcy Apple i Ohio State University przedstawili nowy model językowy FS-DFM (Few-Step Discrete Flow-Matching), zdolny do generowania pełnych fragmentów tekstu w zaledwie 8 szybkich krokach, osiągając jakość porównywalną z tradycyjnymi modelami dyfuzyjnymi wymagającymi ponad tysiąca iteracji.

Kluczowe różnice:

• Autoregresywne modele LLM (np. ChatGPT) generują tekst sekwencyjnie, token po tokenie.
• Modele dyfuzyjne wytwarzają wiele tokenów jednocześnie, udoskonalając je w wielu krokach.
• Flow-matching pozwala uzyskać końcowy wynik w jednym przebiegu, pomijając wieloetapowe iteracje.

FS-DFM korzysta z trzystopniowej metody: dostosowuje się do różnych liczby iteracji, wspiera go model „nauczycielski” dla większej precyzji oraz optymalizuje każdy krok, aby przyspieszyć generowanie tekstu.

W testach model osiągnął niższą perplexity (dokładniejszy, naturalniejszy tekst) i stabilniejszą entropię (bardziej spójny dobór słów) w porównaniu z większymi modelami dyfuzyjnymi, nawet przy mniejszej liczbie parametrów (1,7 – 0,17 mld).

Apple planuje udostępnić kod i checkpointy FS-DFM, aby umożliwić dalsze badania i reprodukcję wyników.

#AI #AIresearch #Apple #arXiv #badaniaApple #dyfuzja #flowmatching #FSDFM #generowanietekstu #innowacjeAI #LLM #modelejęzykowe #NLP #sztucznainteligencja #szybkiegenerowanietekstu #technologia

Apple przyspiesza działanie modeli AI nawet 5 razy

Apple opublikowało badania opisujące nową technikę, która pozwala modelom językowym (LLM) generować odpowiedzi nawet pięć razy szybciej, bez utraty jakości.

Tradycyjnie modele LLM tworzą tekst token po tokenie (autoregresja), co spowalnia proces. Apple odkryło, że modele – mimo trenowania na przewidywanie jednego tokena – mają wiedzę o kilku kolejnych. Na tej podstawie powstał framework Multi-Token Prediction (MTP), w którym model przewiduje naraz kilka tokenów.

Badacze wprowadzili specjalne tokeny maskujące w treści promptów (np. „Kot jest ”), które model wypełnia w jednym kroku („bardzo puszysty”). Jeśli przewidywanie nie jest zgodne z klasycznym trybem, system wraca do standardowej metody. Dzięki temu zachowana jest wysoka dokładność.

Testy z modelem open-source Tulu3-8B pokazały:

• 2–3 razy szybsze działanie w typowych zadaniach (Q&A, czat)
• do 5 razy szybsze w przewidywalnych domenach, takich jak programowanie i matematyka
• brak utraty jakości dzięki technice gated LoRA adaptation

Pełny artykuł naukowy dostępny jest na stronach arXiv.

#aiApple #Apple #AppleIntelligence #badaniaApple #gatedLoRAAdaptation #generowanieTekstu #LLM #modeleJęzykowe #MTP #MultiTokenPrediction #optymalizacjaAI #przyspieszenieAI #sztucznaInteligencja #szybkieAI #Tulu38B

Apple przyspiesza działanie modeli AI nawet 5 razy

Apple opublikowało badania opisujące nową technikę, która pozwala modelom językowym (LLM) generować odpowiedzi nawet pięć razy szybciej, bez utraty jakości.

Tradycyjnie modele LLM tworzą tekst token po tokenie (autoregresja), co spowalnia proces. Apple odkryło, że modele – mimo trenowania na przewidywanie jednego tokena – mają wiedzę o kilku kolejnych. Na tej podstawie powstał framework Multi-Token Prediction (MTP), w którym model przewiduje naraz kilka tokenów.

Badacze wprowadzili specjalne tokeny maskujące w treści promptów (np. „Kot jest ”), które model wypełnia w jednym kroku („bardzo puszysty”). Jeśli przewidywanie nie jest zgodne z klasycznym trybem, system wraca do standardowej metody. Dzięki temu zachowana jest wysoka dokładność.

Testy z modelem open-source Tulu3-8B pokazały:

• 2–3 razy szybsze działanie w typowych zadaniach (Q&A, czat)
• do 5 razy szybsze w przewidywalnych domenach, takich jak programowanie i matematyka
• brak utraty jakości dzięki technice gated LoRA adaptation

Pełny artykuł naukowy dostępny jest na stronach arXiv.

#aiApple #Apple #AppleIntelligence #badaniaApple #gatedLoRAAdaptation #generowanieTekstu #LLM #modeleJęzykowe #MTP #MultiTokenPrediction #optymalizacjaAI #przyspieszenieAI #sztucznaInteligencja #szybkieAI #Tulu38B

Apple przyspiesza działanie modeli AI nawet 5 razy

Apple opublikowało badania opisujące nową technikę, która pozwala modelom językowym (LLM) generować odpowiedzi nawet pięć razy szybciej, bez utraty jakości.

Tradycyjnie modele LLM tworzą tekst token po tokenie (autoregresja), co spowalnia proces. Apple odkryło, że modele – mimo trenowania na przewidywanie jednego tokena – mają wiedzę o kilku kolejnych. Na tej podstawie powstał framework Multi-Token Prediction (MTP), w którym model przewiduje naraz kilka tokenów.

Badacze wprowadzili specjalne tokeny maskujące w treści promptów (np. „Kot jest ”), które model wypełnia w jednym kroku („bardzo puszysty”). Jeśli przewidywanie nie jest zgodne z klasycznym trybem, system wraca do standardowej metody. Dzięki temu zachowana jest wysoka dokładność.

Testy z modelem open-source Tulu3-8B pokazały:

• 2–3 razy szybsze działanie w typowych zadaniach (Q&A, czat)
• do 5 razy szybsze w przewidywalnych domenach, takich jak programowanie i matematyka
• brak utraty jakości dzięki technice gated LoRA adaptation

Pełny artykuł naukowy dostępny jest na stronach arXiv.

#aiApple #Apple #AppleIntelligence #badaniaApple #gatedLoRAAdaptation #generowanieTekstu #LLM #modeleJęzykowe #MTP #MultiTokenPrediction #optymalizacjaAI #przyspieszenieAI #sztucznaInteligencja #szybkieAI #Tulu38B

Apple przyspiesza działanie modeli AI nawet 5 razy

Apple opublikowało badania opisujące nową technikę, która pozwala modelom językowym (LLM) generować odpowiedzi nawet pięć razy szybciej, bez utraty jakości.

Tradycyjnie modele LLM tworzą tekst token po tokenie (autoregresja), co spowalnia proces. Apple odkryło, że modele – mimo trenowania na przewidywanie jednego tokena – mają wiedzę o kilku kolejnych. Na tej podstawie powstał framework Multi-Token Prediction (MTP), w którym model przewiduje naraz kilka tokenów.

Badacze wprowadzili specjalne tokeny maskujące w treści promptów (np. „Kot jest ”), które model wypełnia w jednym kroku („bardzo puszysty”). Jeśli przewidywanie nie jest zgodne z klasycznym trybem, system wraca do standardowej metody. Dzięki temu zachowana jest wysoka dokładność.

Testy z modelem open-source Tulu3-8B pokazały:

• 2–3 razy szybsze działanie w typowych zadaniach (Q&A, czat)
• do 5 razy szybsze w przewidywalnych domenach, takich jak programowanie i matematyka
• brak utraty jakości dzięki technice gated LoRA adaptation

Pełny artykuł naukowy dostępny jest na stronach arXiv.

#aiApple #Apple #AppleIntelligence #badaniaApple #gatedLoRAAdaptation #generowanieTekstu #LLM #modeleJęzykowe #MTP #MultiTokenPrediction #optymalizacjaAI #przyspieszenieAI #sztucznaInteligencja #szybkieAI #Tulu38B

Apple przyspiesza działanie modeli AI nawet 5 razy

Apple opublikowało badania opisujące nową technikę, która pozwala modelom językowym (LLM) generować odpowiedzi nawet pięć razy szybciej, bez utraty jakości.

Tradycyjnie modele LLM tworzą tekst token po tokenie (autoregresja), co spowalnia proces. Apple odkryło, że modele – mimo trenowania na przewidywanie jednego tokena – mają wiedzę o kilku kolejnych. Na tej podstawie powstał framework Multi-Token Prediction (MTP), w którym model przewiduje naraz kilka tokenów.

Badacze wprowadzili specjalne tokeny maskujące w treści promptów (np. „Kot jest ”), które model wypełnia w jednym kroku („bardzo puszysty”). Jeśli przewidywanie nie jest zgodne z klasycznym trybem, system wraca do standardowej metody. Dzięki temu zachowana jest wysoka dokładność.

Testy z modelem open-source Tulu3-8B pokazały:

• 2–3 razy szybsze działanie w typowych zadaniach (Q&A, czat)
• do 5 razy szybsze w przewidywalnych domenach, takich jak programowanie i matematyka
• brak utraty jakości dzięki technice gated LoRA adaptation

Pełny artykuł naukowy dostępny jest na stronach arXiv.

#aiApple #Apple #AppleIntelligence #badaniaApple #gatedLoRAAdaptation #generowanieTekstu #LLM #modeleJęzykowe #MTP #MultiTokenPrediction #optymalizacjaAI #przyspieszenieAI #sztucznaInteligencja #szybkieAI #Tulu38B

Nowe badania Apple: roboty uczą się działać, oglądając świat oczami ludzi

Apple, we współpracy z MIT, Carnegie Mellon i innymi uczelniami, zaprezentowało nowy sposób trenowania humanoidalnych robotów.

W projekcie „Humanoid Policy ∼ Human Policy” roboty uczą się, analizując nagrania z perspektywy pierwszej osoby, zebrane za pomocą Apple Vision Pro.

Naukowcy stworzyli zbiór danych PH2D, zawierający ponad 25 tys. ludzkich i 1,5 tys. robotycznych demonstracji manipulacji obiektami. Dzięki temu udało się wytrenować jeden, uniwersalny model AI, który może sterować humanoidalnym robotem w rzeczywistym świecie.

Zamiast kosztownych i czasochłonnych sesji teleoperacyjnych, dane zebrano z pomocą aplikacji na Apple Vision Pro, wykorzystującej kamerę i technologię ARKit do śledzenia ruchu głowy i dłoni. Dla tańszej alternatywy badacze zaprojektowali też uchwyt na kamerę ZED Mini, kompatybilny np. z Meta Quest 3.

Dodatkowo, by dopasować tempo ruchów ludzi do możliwości robotów, nagrania spowolniono czterokrotnie na etapie trenowania.

Apple stworzyło urokliwą lampę-robota!

Sercem projektu jest HAT – model AI, który uczy się na podstawie wspólnego formatu danych od ludzi i robotów. Zamiast oddzielnie analizować każdy typ źródła, HAT tworzy jedną uniwersalną „politykę działania”, co pozwala robotom lepiej radzić sobie z nowymi zadaniami.

Badanie otwiera nowe możliwości w dziedzinie robotyki i pokazuje potencjał integracji technologii Apple w automatyzacji przyszłości. Więcej szczegółów tutaj.

Więcej na temat robotów — nie tylko tych humanoidalnych, ale i przemysłowych — także w kontekście AI, usłyszysz w nowym odcinku mojego podcastu „Bo czemu nie?”.

#AI #Apple #AppleVisionPro #ARKit #badaniaApple #egocentryczneNagrania #HAT #HumanActionTransformer #humanoidalneRoboty #innowacje2025 #MetaQuest3 #MIT #PH2D #podcast #robotyka #sztucznaInteligencja #technologiaApple #UCSanDiego