#applellm — Public Fediverse posts

Apple opracowało nowy model AI do analizy długich wideo

Badacze Apple zaprezentowali SlowFast-LLaVA-1.5 – rodzinę modeli językowych (1B, 3B i 7B parametrów) zoptymalizowanych pod kątem zrozumienia długich filmów.

Model łączy analizę obrazów i wideo, a dzięki systemowi dwóch strumieni (szybkiego i wolnego) potrafi efektywnie wyłapywać szczegóły oraz ruch w czasie.

SF-LLaVA-1.5 przewyższa większe modele na benchmarkach LongVideoBench i MLVU, a dodatkowo radzi sobie z zadaniami obrazowymi (OCR, matematyka, wiedza ogólna). Trenuje się go wyłącznie na publicznych zbiorach danych i jest open source (GitHub, Hugging Face).

Mając to na uwadze, naukowcy twierdzą, że:

Podejście to może pomijać niektóre kluczowe klatki w długich filmach i wprowadzać model w błąd co do prędkości odtwarzania wideo. (…) Wydajność SF-LLaVA-1.5 można dodatkowo poprawić, dostrajając wszystkie parametry, w tym koder wizualny. Stwierdziliśmy jednak, że nie jest to trywialne w przypadku długich wideo LLM ze względu na wysoki koszt pamięci GPU związany z buforowaniem wartości aktywacji. Przyszłe badania mogą obejmować integrację technik oszczędzania pamięci, takich jak stochastyczne BP.

Ograniczeniem jest maksymalna liczba 128 analizowanych klatek, co może prowadzić do pomijania istotnych fragmentów w bardzo długich nagraniach. Mimo to model uznano za stan obecnej sztuki w analizie wideo.

Pełne omówienie modelu znajdziecie tutaj.

#AIOpenSource #analizaWideoAI #Apple #AppleAI #AppleBadaniaAI #AppleIntelligence #AppleLLM #długieWideoAI #GitHubAppleAI #HuggingFaceApple #LLMWideo #SlowFastLLaVA15

Apple rozważa wykorzystanie ChatGPT lub Claude do zasilenia Siri

Apple może zmodernizować Siri, integrując ją z technologią AI od OpenAI (ChatGPT) lub Anthropic (Claude) – donosi Bloomberg.

Firma testuje obecnie duże modele językowe (LLM), które miałyby działać na prywatnych serwerach Apple w ramach Private Cloud Compute.

Według doniesień Anthropic jest obecnie faworytem, a rozmowy z Apple objęły już nawet wstępne ustalenia finansowe. Firma chce jednak wielomiliardowego wynagrodzenia rocznego, które z czasem ma rosnąć – dlatego Apple nie wyklucza współpracy również z OpenAI.

Mimo że Apple pracuje nad własnym LLM dla Siri, napotyka liczne trudności. Po zapowiedziach na WWDC 2024, nowa „Apple Intelligence Siri” miała zadebiutować z iPhone’em 16, ale jej premiera została przesunięta na 2026 rok, co wywołało falę krytyki i pozwy sądowe.

Na razie Apple planuje wprowadzić personalizowane funkcje Siri w iOS 26, a wersję z LLM – dopiero w iOS 27 (jesień 2026). Integracja z zewnętrznym modelem AI miałaby pozwolić na zaoferowanie nowoczesnych funkcji użytkownikom, zanim Apple ukończy własne rozwiązanie.

#AnthropicClaude #AppleIntelligence #AppleLLM #appleSiri #ChatGPTSiri #ChatGPTWIPhone #ClaudeSiri #OpenAIApple #partnerstwoAppleAI #Siri2026 #SiriAI #SiriAktualizacja #SiriIOS26 #SiriIOS27 #sztucznaInteligencjaApple