#mera — Public Fediverse posts

Reasoning-модели нужно измерять по-новому. Представляем публичный лидерборд MERA Reason

За последний год в мире больших языковых моделей произошел заметный сдвиг. Если раньше основным предметом соревнования были знания модели — насколько хорошо она отвечает на вопросы (общие или специальные), знает факты или пишет код, — то со временем фокус сместился на способность рассуждать . Практически каждый крупный релиз последних месяцев позиционируется как reasoning-модель. Производители говорят уже не столько о знаниях, сколько о способности строить длинные цепочки рассуждений, решать сложные задачи и принимать решения в условиях неопределенности. Но вместе с этим возникает закономерный вопрос: а как объективно измерять reasoning?

https://habr.com/ru/articles/1062148/

#бенчмаркинг #reasoning #mera

Как оценивать LLM на практике, если времени на «идеальный бенчмарк» нет

Меня зовут Алёна, и я более пяти лет занимаюсь оценкой языковых моделей: участвовала в создании таких русскоязычных бенчмарков как Russian SuperGLUE, ruMTEB, куратор проекта Альянса в сфере искусственного интеллекта «MERA» (бенчмарка для оценки русскоязычных LLM), и создатель множества других проектов в области тестирования генеративных моделей. На конференциях, встречах с командами и обсуждениях LLM-продуктов я часто слышу один и тот же вопрос: «А как вообще правильно оценивать LLM на практике?», и почти всегда за этим вопросом стоит один и тот же разрыв. С одной стороны, есть академический мир. В нём бенчмарк — это методология, датасеты, метрики, контроль качества, проверка утечек, воспроизводимость, анализ ошибок и месяцы работы. Хороший академический тест должен быть достаточно строгим, чтобы его результатам можно было доверять. С другой стороны, есть индустриальная практика. Команде нужно выбрать модель, проверить новую версию промпта, сравнить два пайплайна, выкатить RAG-систему, оценить агентную систему или понять, не стало ли хуже после очередного изменения. И всё это не через полгода, а, желательно, к следующему релизу. На этом месте и возникает типовая развилка. Часть команд не оценивает почти ничего: несколько ручных примеров перед демо, быстрый просмотр ответов глазами — и решение «вроде, работает». Другая часть пытается сделать «минимально нормальную» оценку: 10–20 запросов, LLM-судья, средний балл, табличка для отчёта. Проблема в том, что второй вариант часто выглядит как контроль качества, но им не является. Более того, он может быть опасен, потому что создаёт уверенность там, где на самом деле есть только очень слабый сигнал. При этом я хорошо понимаю, почему так происходит. Дело не в том, что команды ленятся или не понимают важности оценки. Скорее, наоборот: они работают в темпе, для которого классический академический подход часто является слишком тяжеловесным.

https://habr.com/ru/companies/sberbank/articles/1053546/

#бенчмаркинг #бенчмар #MERA #русскоязычные_датасеты

Today's the wedding anniversary of Aquaman and Mera.

(Comic art by Nick Cardy, Dario Brizuela, and Curt Swan.)

#1976DCCalendar #DCComics #comics #Aquaman #Mera #ScoobyDoo #Smallville 

Meta (stupid name) is about to launch WhatsApp Plus a subscription for the service, with: premium stickers, app themes, icon changes, premium ringtones and a couple of other features that are also not worth paying for.
Premium stickers and ringtones, what a concept.
We'll see how long they take to remove already free functions to migrate them to this premium tier with the excuse it is so they can serve their users better.
I hate that I have to use this fucking app.

#Mera #WhatsApp #Tech

LLM модели: зарубежные VS отечественные

Когда команда выбирает LLM для продакшена, «сравнение по бенчмаркам» — это лишь первый фильтр. Для CTO ключевой вопрос звучит иначе: какую комбинацию качества, стоимости, стабильности API, юридических ограничений и интеграций мы получим на реальной нагрузке. Я разобрал популярные модели через призму двух контуров: качество/бенчмарки и инфраструктурная пригодность.

https://habr.com/ru/articles/1000058/

#llmмодели #llm #mera #leaderboard #tco #sla

Zjednoczenie Przemysłu Automatyki i Aparatury Pomiarowej «MERA» czyli podróż w czasie o (prawie) pół wieku.

Napisałbym "gimby nie znajo", ale prawdę mówiąc zdecydowana większość nie ma pojęcia o szeroko pojętej informatyce w czasach PRL.

🌐 https://www.youtube.com/watch?v=0TEKd8i3ZLc
#️⃣ #Historia #IT #Komputery #MERA

Today's the birthday of Mera.

(Art by David Talaski, Dario Brizuela, Curt Swan, and Chuck Patton.)

#1976DCCalendar #DCComics #comics #Mera #Aquaman #JusticeLeague #ScoobyDoo

#le1701

Zur Organisatorin
#AnneLewerenz ziemlich detailliert
#Mera #Diem #BSW #Handala

und das Übliche
#HolocaustRelativierung
#HamasVerherrlichung
#IsraelVerleugnung
(hat kein Existenzrecht)

https://threadreaderapp.com/thread/2014997297071788138.html

Развитие бенчмарка MERA: от текстовых задач к мультимодальному тестированию ИИ

Всем привет, с вами команда MERA! Этот год стал для нас по-настоящему прорывным. Мы запустили MERA Industrial , MERA Code и SWE-MERA , заложив основу для системной оценки моделей в разных областях. Но главное событие впереди. MERA — это не просто имя или бренд. Это аббревиатура от Multimodal Evaluation for Russian-language Architectures (Мультимодальная оцЕнка Русскоязычных Архитектур). Ещё в 2023 году мы поставили перед собой амбициозную цель: создать эталон для оценки мультимодальных моделей на русском языке. Сегодня мы с гордостью объявляем о достижении этой цели: встречайте MERA Multi — первый полноценный релиз мультимодального бенчмарка для русскоязычных моделей. Теперь пришло время по-настоящему измерять и сравнивать мультимодальные способности современных русскоязычных ИИ.

https://habr.com/ru/companies/sberbank/articles/967862/

#бенчмарки #мультимодальность #mera

Der Abend ist gerettet:

Stream vom M'era Luna Festival 🖤🎶👋

seit 20 Uhr Faun
20:30 Uhr Joachim Witt
21:30 Uhr Apocalyptica
22:45 Uhr Eisbrecher

#mera #meraluna #festival #streaming #music #gothic

https://www.arte.tv/de/videos/127143-001-A/m-era-luna-festival-2025/?utm_source=android&utm_medium=share&utm_campaign=127143-001-A

Today's the wedding anniversary of Aquaman and Mera.

(Art by Dario Brizuela, Nick Cardy, Curt Swan, and John Workman.)

#1976DCCalendar #DCComics #comics #Aquaman #Mera #ScoobyDoo

Title: Mera, in Boshu (1949)

Artist: Hasui Kawase

https://www.asahi.com/ajw/articles/15191967 #ShinHanga #Art #HasuiKawase #Showa #Summer #Mera #Chiba #Japan

Check the News : )
http://lacrimosa.org

#meraluna #meralunafestival #gothic #festival #music #goth #gothgirl #mera #meralunafstvl #concertphotography #gothicfestival #festivals #gothicstyle #alternative #hannover #wavegotiktreffen #dark #gothicfashion #concert #hildesheim #wgt #alternativegirl #concertphoto #concertshot #festivalseason #htbarp #see #alternativemodel #gothfashion

Today's the birthday of Mera.

(Art by Stephen Byrne, Dario Brizuela, Ramona Fradon, and Chuck Patton.)

#1976DCCalendar #DCComics #comics #Aquaman #Mera #ScoobyDoo

Today's the wedding anniversary of Aquaman and Mera.

(Art by Dario Brizuela and Nick Cardy.)

#1976DCCalendar #DCComics #comics #Aquaman #Mera #ScoobyDoo

#Comics #Mera #SilverAgeComics #DCComics

Done as part of an Aquaman themed drink & draw. Figured Mera deserved some love since the DCEU didn't give her much. 😃

The neck is a tad long but mistakes are all part of the path of experience.

The suit is meant to have a hexagonal texture but I didn't have the patience to depict all that. ha.

30x Replay:
https://youtu.be/lGLqfDbxY9Q

YT Short:
https://youtube.com/watch/JkQnrqFF7qY

#Mera #Aquaman #MastoArt

Jezebel: Sex. Celebrity. Politics. With Teeth: The Cardinal Sin of Netflix’s ‘Depp v. Heard’ https://jezebel.com/depp-v-heard-netflix-review-1850701333 #Jezebel #deppvnewsgroupnewspapersltd #piratesofthecaribbean #marilynmonroe #metoomovement #andysignore #deppvheard #amberheard #emmacooper #johnnydepp #leeberlik #nickviall #netflix #twitter #depp #mera #cum

Ich bin dann mal beschäftigt! 🤗

#meraluna Livestream gleich ab 17:20 Uhr auf #ARTEconcert 🖤🎶🤘 #mera #mera23

https://www.arte.tv/de/videos/115593-001-A/m-era-luna-livestream-vom-12-08-2023/

@Balkingpoints

The developers #Mera bought or hired used their experience and not trade-secrets. #Musk is going on as if #Twitter is some type of revolutionary technology he designed and built from the ground up.

Most developers can build a #Twitter clone in a few hours. It is the scaling and infrastructure that needs advance knowledge and experience.

This again just proves he really doesn't know anything of software development and how things work.

Today’s Aquaman and Mera’s wedding anniversary.

(Art by Dario Brizuela and Nick Cardy.)

#1976DCCalendar #Aquaman #Mera #ScoobyDoo #DCComics #comics

I have on occasion worked on various sketch card sets, here are a few samples. All Drawings are card size and rendered in ink and markers.

Eye Contact

#BuffyTheVampireSlayer #PoisonIvy #Mera #StevenUniverse #Archer #RickAndMorty #SherlockHolmes #DCComics #5Finity #Cryptozoic #Illustration #Drawing #MarkerDrawing #MastoArt #FediArt

Happy #DCComics Birthday to #Mera Queen of Atlantis!

Queen of Atlantis Paperback - https://amzn.to/3Y3tM8I
Queen of Atlantis Kindle - https://amzn.to/3Rihrv4

#Aquaman #Mera