home.social

#transformers — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #transformers, aggregated by home.social.

  1. Клиент — это тоже вектор? Как мы хотели улучшить ML-модель, а построили similarity engine

    Поговорим о том, как превращать последовательности пользовательских событий в векторы, зачем обучать BERT на "языке" клиентского поведения и почему embedding-пространство может неожиданно начать отражать будущую ценность пользователей

    habr.com/ru/articles/1034880/

    #машинное_обучение #анализ_данных #bert #deep_learning #machine_learning #embeddings #transformers

  2. The Transformers: REANIMATED — Issue 82, WRATH OF THE TITANS!

    A routine test flight.
    A signal from Saturn.
    A takeover no one saw coming.

    Talaria has returned and she wants EVERYTHING.
    -
    #Transformers #cosmos #NCBD #TransformersReAnimated

  3. Как оценить, что цепь трансформера «держит причинную логику»: метрика EICS

    У больших языковых моделей есть неприятное свойство: снаружи ответ может выглядеть одинаково уверенно и тогда, когда модель действительно «собрала» правильную причинную цепочку, и тогда, когда она просто выдала правдоподобный текст. Классические способы оценки неопределённости — энтропия распределения токенов, калибровка, ансамбли, conformal prediction — полезны, но обычно смотрят на модель как на чёрный ящик. В этой статье я разберу другой подход: попробовать оценивать неопределённость не только по выходу модели, а по внутренней согласованности активной цепи трансформера. Речь пойдёт о метрике EICS — Effective Information Consistency Score . Идея в том, чтобы за один прямой проход получить численную оценку того, насколько найденная трансформерная цепь ведёт себя согласованно и насколько её макроуровневое описание действительно несёт интегрированную информацию. Статья основана на исследовательской работе об оценке неопределённости в трансформерных цепях на основе согласованности эффективной информации. Здесь я намеренно смягчил академическую подачу, оставив интуицию, формулы, алгоритм и практические ограничения. Снять неопределённость

    habr.com/ru/articles/1033580/

    #uncertainty_estimation #transformers #sheaf_theory #causal_emergence_theory #information_theory #mechanistic_interpretability #llm

  4. Auf zur dritten Runde von
    Welche #Apokalypse bevorzugst du?

    Edit:
    Ich wollte was korrigieren, dabei ist die Abstimmung abhanden gekommen

    Also nochmal von vorne, mit #Transformers #Thanos von #Marvel #Buffy und einer #Eiszeit.

  5. Auf zur dritten Runde von
    Welche #Apokalypse bevorzugst du?

    Edit:
    Ich wollte was korrigieren, dabei ist die Abstimmung abhanden gekommen

    Also nochmal von vorne, mit #Transformers #Thanos von #Marvel #Buffy und einer #Eiszeit.

  6. Auf zur dritten Runde von
    Welche #Apokalypse bevorzugst du?

    Edit:
    Ich wollte was korrigieren, dabei ist die Abstimmung abhanden gekommen

    Also nochmal von vorne, mit #Transformers #Thanos von #Marvel #Buffy und einer #Eiszeit.

  7. Auf zur dritten Runde von
    Welche #Apokalypse bevorzugst du?

    Edit:
    Ich wollte was korrigieren, dabei ist die Abstimmung abhanden gekommen

    Also nochmal von vorne, mit #Transformers #Thanos von #Marvel #Buffy und einer #Eiszeit.

  8. Auf zur dritten Runde von
    Welche #Apokalypse bevorzugst du?

    Edit:
    Ich wollte was korrigieren, dabei ist die Abstimmung abhanden gekommen

    Also nochmal von vorne, mit #Transformers #Thanos von #Marvel #Buffy und einer #Eiszeit.