home.social

#information_theory — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #information_theory, aggregated by home.social.

  1. Как оценить, что цепь трансформера «держит причинную логику»: метрика EICS

    У больших языковых моделей есть неприятное свойство: снаружи ответ может выглядеть одинаково уверенно и тогда, когда модель действительно «собрала» правильную причинную цепочку, и тогда, когда она просто выдала правдоподобный текст. Классические способы оценки неопределённости — энтропия распределения токенов, калибровка, ансамбли, conformal prediction — полезны, но обычно смотрят на модель как на чёрный ящик. В этой статье я разберу другой подход: попробовать оценивать неопределённость не только по выходу модели, а по внутренней согласованности активной цепи трансформера. Речь пойдёт о метрике EICS — Effective Information Consistency Score . Идея в том, чтобы за один прямой проход получить численную оценку того, насколько найденная трансформерная цепь ведёт себя согласованно и насколько её макроуровневое описание действительно несёт интегрированную информацию. Статья основана на исследовательской работе об оценке неопределённости в трансформерных цепях на основе согласованности эффективной информации. Здесь я намеренно смягчил академическую подачу, оставив интуицию, формулы, алгоритм и практические ограничения. Снять неопределённость

    habr.com/ru/articles/1033580/

    #uncertainty_estimation #transformers #sheaf_theory #causal_emergence_theory #information_theory #mechanistic_interpretability #llm

  2. Труды по археологии, истории и географии. Российская империя. Вторая половина XIX века. часть 3 #археология, #история_России #география #история #Россия #19_век #журналы #труды #20_век
    t.me/scilib_yura15cbx/21

    MATLAB & Simulink books
    t.me/scilib_yura15cbx/17

    _Украинский язык подборка словарей
    _українська мова збірка словників
    Ukrainian language Dictionary collection
    t.me/scilib_yura15cbx/16

    _Книги 18, 19, 20 века, изданные до 1917 года и имеют отношение к Украине
    _Books of the 18th, 19th, and 20th centuries, published before 1917 and related to Ukraine
    _Книги 18, 19, 20 століття, видані до 1917 року і мають відношення до України
    #украина #Ukraine #україна
    t.me/scilib_yura15cbx/15

    Книги. Полиграфия, Переплетное дело, реставрация, редактирование, редактура и корректура.
    Поліграфія, палітурна справа та реставрація книг
    Printing, Bookbinding and book restoration
    t.me/scilib_yura15cbx/14

    #Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
    #Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
    t.me/scilib_yura15cbx/12

    John Wiley & Sons - подборка книг издательства
    John Wiley & Sons - a selection of books published by
    John Wiley & Sons-добірка книг видавництва
    t.me/scilib_yura15cbx/10

    Подборка книг по микроконтроллерам, ПЛИС, САПР, справочники
    #Цифровая_обработка_сигналов, #теория_информации #Микроконтроллеры, #компьютер, #роботы #Сеть. #Сетевые_технологии #Электропитание, #сварка, #импульсная_техника #Автомобиль #САПР
    Добірка книг з мікроконтролерів, ПЛІС, САПР, довідники
    #САПР #Цифрова_обробка_сигналів #Теорія_інформації #мікроконтролери, #компютер, #роботи #Мережа #Мережеві_технології #електроживлення, #зварювання, #імпульсна_техніка #автомобіль #САПР
    A selection of books on microcontrollers, FPGAs, CAD, reference books
    #Digital_signal_processing, #Information_theory #Microcontrollers, #Computer, #robots #Network. #Network_technologies #Power_supply, #Welding, #Pulse_technology #Car #CAD
    t.me/scilib_yura15cbx/9

    GeoChemistry, Field Engineering, Geology, GeoPhysics, Drilling, Hydrogeology, Electric Exploration, Digital Signal Processing, Seismology, Well logging Геохимия, Полевая инженерия, Геология, Геофизика, Бурение, Гидрогеология, Электроразведка, Цифровая Обработка сигналов, Сейсмология, Каротаж скважин Геохімія, Польова інженерія, Геологія, Геофізика, Буріння, Гідрогеологія, електророзвідка, Цифрова обробка сигналів, сейсмологія, Каротаж свердловин
    #GeoChemistry, #Field_Engineering, #Geology, #GeoPhysics, #Drilling, #Hydrogeology, #Electric_Exploration, #Digital_Signal_Processing, #Seismology, #Well_logging #Геохимия, #Полевая_инженерия, #Геология, #Геофизика, #Бурение, #Гидрогеология, #Электроразведка, #Цифровая_Обработка_сигналов, #Сейсмология, #Каротаж_скважин #Геохімія, #Польова_інженерія, #Геологія, #Геофізика, #Буріння, #Гідрогеологія, #електророзвідка, #Цифрова_обробка_сигналів, #сейсмологія, #Каротаж_свердловин
    t.me/scilib_yura15cbx/8

    Mobile library
    t.me/scilib_yura15cbx/7

    Кулинария, Кулінарія, Cuisine

    cooking recipes food national cuisine cuisine Russian cuisine Ukrainian cuisine ethnic cuisine fast food soups cocktails wine cheeses alcohol fish raw food diet vegetarian salads seafood Mediterranean cuisine lose weight healthy food potatoes vegetables fruits Vietnamese cuisine Georgian cuisine Caucasian cuisine Mexican cuisine Italian cuisine French cuisine Portuguese cuisine microwave
    кулинария рецепты еда национальная кухня русская кухня украинская кухня этническая кухня фастфуд супы коктейли вина сыры алкоголь рыба сыроедение вегитарианство салаты морепродукты средиземноморская кухня худеем здоровое питание

  3. Труды по археологии, истории и географии. Российская империя. Вторая половина XIX века. часть 3 #археология, #история_России #география #история #Россия #19_век #журналы #труды #20_век
    t.me/scilib_yura15cbx/21

    MATLAB & Simulink books
    t.me/scilib_yura15cbx/17

    _Украинский язык подборка словарей
    _українська мова збірка словників
    Ukrainian language Dictionary collection
    t.me/scilib_yura15cbx/16

    _Книги 18, 19, 20 века, изданные до 1917 года и имеют отношение к Украине
    _Books of the 18th, 19th, and 20th centuries, published before 1917 and related to Ukraine
    _Книги 18, 19, 20 століття, видані до 1917 року і мають відношення до України
    #украина #Ukraine #україна
    t.me/scilib_yura15cbx/15

    Книги. Полиграфия, Переплетное дело, реставрация, редактирование, редактура и корректура.
    Поліграфія, палітурна справа та реставрація книг
    Printing, Bookbinding and book restoration
    t.me/scilib_yura15cbx/14

    #Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
    #Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
    t.me/scilib_yura15cbx/12

    John Wiley & Sons - подборка книг издательства
    John Wiley & Sons - a selection of books published by
    John Wiley & Sons-добірка книг видавництва
    t.me/scilib_yura15cbx/10

    Подборка книг по микроконтроллерам, ПЛИС, САПР, справочники
    #Цифровая_обработка_сигналов, #теория_информации #Микроконтроллеры, #компьютер, #роботы #Сеть. #Сетевые_технологии #Электропитание, #сварка, #импульсная_техника #Автомобиль #САПР
    Добірка книг з мікроконтролерів, ПЛІС, САПР, довідники
    #САПР #Цифрова_обробка_сигналів #Теорія_інформації #мікроконтролери, #компютер, #роботи #Мережа #Мережеві_технології #електроживлення, #зварювання, #імпульсна_техніка #автомобіль #САПР
    A selection of books on microcontrollers, FPGAs, CAD, reference books
    #Digital_signal_processing, #Information_theory #Microcontrollers, #Computer, #robots #Network. #Network_technologies #Power_supply, #Welding, #Pulse_technology #Car #CAD
    t.me/scilib_yura15cbx/9

    GeoChemistry, Field Engineering, Geology, GeoPhysics, Drilling, Hydrogeology, Electric Exploration, Digital Signal Processing, Seismology, Well logging Геохимия, Полевая инженерия, Геология, Геофизика, Бурение, Гидрогеология, Электроразведка, Цифровая Обработка сигналов, Сейсмология, Каротаж скважин Геохімія, Польова інженерія, Геологія, Геофізика, Буріння, Гідрогеологія, електророзвідка, Цифрова обробка сигналів, сейсмологія, Каротаж свердловин
    #GeoChemistry, #Field_Engineering, #Geology, #GeoPhysics, #Drilling, #Hydrogeology, #Electric_Exploration, #Digital_Signal_Processing, #Seismology, #Well_logging #Геохимия, #Полевая_инженерия, #Геология, #Геофизика, #Бурение, #Гидрогеология, #Электроразведка, #Цифровая_Обработка_сигналов, #Сейсмология, #Каротаж_скважин #Геохімія, #Польова_інженерія, #Геологія, #Геофізика, #Буріння, #Гідрогеологія, #електророзвідка, #Цифрова_обробка_сигналів, #сейсмологія, #Каротаж_свердловин
    t.me/scilib_yura15cbx/8

    Mobile library
    t.me/scilib_yura15cbx/7

    Кулинария, Кулінарія, Cuisine

    cooking recipes food national cuisine cuisine Russian cuisine Ukrainian cuisine ethnic cuisine fast food soups cocktails wine cheeses alcohol fish raw food diet vegetarian salads seafood Mediterranean cuisine lose weight healthy food potatoes vegetables fruits Vietnamese cuisine Georgian cuisine Caucasian cuisine Mexican cuisine Italian cuisine French cuisine Portuguese cuisine microwave
    кулинария рецепты еда национальная кухня русская кухня украинская кухня этническая кухня фастфуд супы коктейли вина сыры алкоголь рыба сыроедение вегитарианство салаты морепродукты средиземноморская кухня худеем здоровое питание

  4. Труды по археологии, истории и географии. Российская империя. Вторая половина XIX века. часть 3 #археология, #история_России #география #история #Россия #19_век #журналы #труды #20_век
    t.me/scilib_yura15cbx/21

    MATLAB & Simulink books
    t.me/scilib_yura15cbx/17

    _Украинский язык подборка словарей
    _українська мова збірка словників
    Ukrainian language Dictionary collection
    t.me/scilib_yura15cbx/16

    _Книги 18, 19, 20 века, изданные до 1917 года и имеют отношение к Украине
    _Books of the 18th, 19th, and 20th centuries, published before 1917 and related to Ukraine
    _Книги 18, 19, 20 століття, видані до 1917 року і мають відношення до України
    #украина #Ukraine #україна
    t.me/scilib_yura15cbx/15

    Книги. Полиграфия, Переплетное дело, реставрация, редактирование, редактура и корректура.
    Поліграфія, палітурна справа та реставрація книг
    Printing, Bookbinding and book restoration
    t.me/scilib_yura15cbx/14

    #Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
    #Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
    t.me/scilib_yura15cbx/12

    John Wiley & Sons - подборка книг издательства
    John Wiley & Sons - a selection of books published by
    John Wiley & Sons-добірка книг видавництва
    t.me/scilib_yura15cbx/10

    Подборка книг по микроконтроллерам, ПЛИС, САПР, справочники
    #Цифровая_обработка_сигналов, #теория_информации #Микроконтроллеры, #компьютер, #роботы #Сеть. #Сетевые_технологии #Электропитание, #сварка, #импульсная_техника #Автомобиль #САПР
    Добірка книг з мікроконтролерів, ПЛІС, САПР, довідники
    #САПР #Цифрова_обробка_сигналів #Теорія_інформації #мікроконтролери, #компютер, #роботи #Мережа #Мережеві_технології #електроживлення, #зварювання, #імпульсна_техніка #автомобіль #САПР
    A selection of books on microcontrollers, FPGAs, CAD, reference books
    #Digital_signal_processing, #Information_theory #Microcontrollers, #Computer, #robots #Network. #Network_technologies #Power_supply, #Welding, #Pulse_technology #Car #CAD
    t.me/scilib_yura15cbx/9

    GeoChemistry, Field Engineering, Geology, GeoPhysics, Drilling, Hydrogeology, Electric Exploration, Digital Signal Processing, Seismology, Well logging Геохимия, Полевая инженерия, Геология, Геофизика, Бурение, Гидрогеология, Электроразведка, Цифровая Обработка сигналов, Сейсмология, Каротаж скважин Геохімія, Польова інженерія, Геологія, Геофізика, Буріння, Гідрогеологія, електророзвідка, Цифрова обробка сигналів, сейсмологія, Каротаж свердловин
    #GeoChemistry, #Field_Engineering, #Geology, #GeoPhysics, #Drilling, #Hydrogeology, #Electric_Exploration, #Digital_Signal_Processing, #Seismology, #Well_logging #Геохимия, #Полевая_инженерия, #Геология, #Геофизика, #Бурение, #Гидрогеология, #Электроразведка, #Цифровая_Обработка_сигналов, #Сейсмология, #Каротаж_скважин #Геохімія, #Польова_інженерія, #Геологія, #Геофізика, #Буріння, #Гідрогеологія, #електророзвідка, #Цифрова_обробка_сигналів, #сейсмологія, #Каротаж_свердловин
    t.me/scilib_yura15cbx/8

    Mobile library
    t.me/scilib_yura15cbx/7

    Кулинария, Кулінарія, Cuisine

    cooking recipes food national cuisine cuisine Russian cuisine Ukrainian cuisine ethnic cuisine fast food soups cocktails wine cheeses alcohol fish raw food diet vegetarian salads seafood Mediterranean cuisine lose weight healthy food potatoes vegetables fruits Vietnamese cuisine Georgian cuisine Caucasian cuisine Mexican cuisine Italian cuisine French cuisine Portuguese cuisine microwave
    кулинария рецепты еда национальная кухня русская кухня украинская кухня этническая кухня фастфуд супы коктейли вина сыры алкоголь рыба сыроедение вегитарианство салаты морепродукты средиземноморская кухня худеем здоровое питание

  5. Труды по археологии, истории и географии. Российская империя. Вторая половина XIX века. часть 3 #археология, #история_России #география #история #Россия #19_век #журналы #труды #20_век
    t.me/scilib_yura15cbx/21

    MATLAB & Simulink books
    t.me/scilib_yura15cbx/17

    _Украинский язык подборка словарей
    _українська мова збірка словників
    Ukrainian language Dictionary collection
    t.me/scilib_yura15cbx/16

    _Книги 18, 19, 20 века, изданные до 1917 года и имеют отношение к Украине
    _Books of the 18th, 19th, and 20th centuries, published before 1917 and related to Ukraine
    _Книги 18, 19, 20 століття, видані до 1917 року і мають відношення до України
    #украина #Ukraine #україна
    t.me/scilib_yura15cbx/15

    Книги. Полиграфия, Переплетное дело, реставрация, редактирование, редактура и корректура.
    Поліграфія, палітурна справа та реставрація книг
    Printing, Bookbinding and book restoration
    t.me/scilib_yura15cbx/14

    #Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
    #Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
    t.me/scilib_yura15cbx/12

    John Wiley & Sons - подборка книг издательства
    John Wiley & Sons - a selection of books published by
    John Wiley & Sons-добірка книг видавництва
    t.me/scilib_yura15cbx/10

    Подборка книг по микроконтроллерам, ПЛИС, САПР, справочники
    #Цифровая_обработка_сигналов, #теория_информации #Микроконтроллеры, #компьютер, #роботы #Сеть. #Сетевые_технологии #Электропитание, #сварка, #импульсная_техника #Автомобиль #САПР
    Добірка книг з мікроконтролерів, ПЛІС, САПР, довідники
    #САПР #Цифрова_обробка_сигналів #Теорія_інформації #мікроконтролери, #компютер, #роботи #Мережа #Мережеві_технології #електроживлення, #зварювання, #імпульсна_техніка #автомобіль #САПР
    A selection of books on microcontrollers, FPGAs, CAD, reference books
    #Digital_signal_processing, #Information_theory #Microcontrollers, #Computer, #robots #Network. #Network_technologies #Power_supply, #Welding, #Pulse_technology #Car #CAD
    t.me/scilib_yura15cbx/9

    GeoChemistry, Field Engineering, Geology, GeoPhysics, Drilling, Hydrogeology, Electric Exploration, Digital Signal Processing, Seismology, Well logging Геохимия, Полевая инженерия, Геология, Геофизика, Бурение, Гидрогеология, Электроразведка, Цифровая Обработка сигналов, Сейсмология, Каротаж скважин Геохімія, Польова інженерія, Геологія, Геофізика, Буріння, Гідрогеологія, електророзвідка, Цифрова обробка сигналів, сейсмологія, Каротаж свердловин
    #GeoChemistry, #Field_Engineering, #Geology, #GeoPhysics, #Drilling, #Hydrogeology, #Electric_Exploration, #Digital_Signal_Processing, #Seismology, #Well_logging #Геохимия, #Полевая_инженерия, #Геология, #Геофизика, #Бурение, #Гидрогеология, #Электроразведка, #Цифровая_Обработка_сигналов, #Сейсмология, #Каротаж_скважин #Геохімія, #Польова_інженерія, #Геологія, #Геофізика, #Буріння, #Гідрогеологія, #електророзвідка, #Цифрова_обробка_сигналів, #сейсмологія, #Каротаж_свердловин
    t.me/scilib_yura15cbx/8

    Mobile library
    t.me/scilib_yura15cbx/7

    Кулинария, Кулінарія, Cuisine

    cooking recipes food national cuisine cuisine Russian cuisine Ukrainian cuisine ethnic cuisine fast food soups cocktails wine cheeses alcohol fish raw food diet vegetarian salads seafood Mediterranean cuisine lose weight healthy food potatoes vegetables fruits Vietnamese cuisine Georgian cuisine Caucasian cuisine Mexican cuisine Italian cuisine French cuisine Portuguese cuisine microwave
    кулинария рецепты еда национальная кухня русская кухня украинская кухня этническая кухня фастфуд супы коктейли вина сыры алкоголь рыба сыроедение вегитарианство салаты морепродукты средиземноморская кухня худеем здоровое питание

  6. Труды по археологии, истории и географии. Российская империя. Вторая половина XIX века. часть 3 #археология, #история_России #география #история #Россия #19_век #журналы #труды #20_век
    t.me/scilib_yura15cbx/21

    MATLAB & Simulink books
    t.me/scilib_yura15cbx/17

    _Украинский язык подборка словарей
    _українська мова збірка словників
    Ukrainian language Dictionary collection
    t.me/scilib_yura15cbx/16

    _Книги 18, 19, 20 века, изданные до 1917 года и имеют отношение к Украине
    _Books of the 18th, 19th, and 20th centuries, published before 1917 and related to Ukraine
    _Книги 18, 19, 20 століття, видані до 1917 року і мають відношення до України
    #украина #Ukraine #україна
    t.me/scilib_yura15cbx/15

    Книги. Полиграфия, Переплетное дело, реставрация, редактирование, редактура и корректура.
    Поліграфія, палітурна справа та реставрація книг
    Printing, Bookbinding and book restoration
    t.me/scilib_yura15cbx/14

    #Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
    #Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
    t.me/scilib_yura15cbx/12

    John Wiley & Sons - подборка книг издательства
    John Wiley & Sons - a selection of books published by
    John Wiley & Sons-добірка книг видавництва
    t.me/scilib_yura15cbx/10

    Подборка книг по микроконтроллерам, ПЛИС, САПР, справочники
    #Цифровая_обработка_сигналов, #теория_информации #Микроконтроллеры, #компьютер, #роботы #Сеть. #Сетевые_технологии #Электропитание, #сварка, #импульсная_техника #Автомобиль #САПР
    Добірка книг з мікроконтролерів, ПЛІС, САПР, довідники
    #САПР #Цифрова_обробка_сигналів #Теорія_інформації #мікроконтролери, #компютер, #роботи #Мережа #Мережеві_технології #електроживлення, #зварювання, #імпульсна_техніка #автомобіль #САПР
    A selection of books on microcontrollers, FPGAs, CAD, reference books
    #Digital_signal_processing, #Information_theory #Microcontrollers, #Computer, #robots #Network. #Network_technologies #Power_supply, #Welding, #Pulse_technology #Car #CAD
    t.me/scilib_yura15cbx/9

    GeoChemistry, Field Engineering, Geology, GeoPhysics, Drilling, Hydrogeology, Electric Exploration, Digital Signal Processing, Seismology, Well logging Геохимия, Полевая инженерия, Геология, Геофизика, Бурение, Гидрогеология, Электроразведка, Цифровая Обработка сигналов, Сейсмология, Каротаж скважин Геохімія, Польова інженерія, Геологія, Геофізика, Буріння, Гідрогеологія, електророзвідка, Цифрова обробка сигналів, сейсмологія, Каротаж свердловин
    #GeoChemistry, #Field_Engineering, #Geology, #GeoPhysics, #Drilling, #Hydrogeology, #Electric_Exploration, #Digital_Signal_Processing, #Seismology, #Well_logging #Геохимия, #Полевая_инженерия, #Геология, #Геофизика, #Бурение, #Гидрогеология, #Электроразведка, #Цифровая_Обработка_сигналов, #Сейсмология, #Каротаж_скважин #Геохімія, #Польова_інженерія, #Геологія, #Геофізика, #Буріння, #Гідрогеологія, #електророзвідка, #Цифрова_обробка_сигналів, #сейсмологія, #Каротаж_свердловин
    t.me/scilib_yura15cbx/8

    Mobile library
    t.me/scilib_yura15cbx/7

    Кулинария, Кулінарія, Cuisine

    cooking recipes food national cuisine cuisine Russian cuisine Ukrainian cuisine ethnic cuisine fast food soups cocktails wine cheeses alcohol fish raw food diet vegetarian salads seafood Mediterranean cuisine lose weight healthy food potatoes vegetables fruits Vietnamese cuisine Georgian cuisine Caucasian cuisine Mexican cuisine Italian cuisine French cuisine Portuguese cuisine microwave
    кулинария рецепты еда национальная кухня русская кухня украинская кухня этническая кухня фастфуд супы коктейли вина сыры алкоголь рыба сыроедение вегитарианство салаты морепродукты средиземноморская кухня худеем здоровое питание

  7. The entropy was originally created by Shannon as part of his theory of communication, in which a data communication system is composed of three elements: a source of data, a communication channel, and a receiver. In Shannon's theory, the "fundamental problem of communication" – as expressed by Shannon – is for the receiver to be able to identify what data was generated by the source, based on the signal it receives through the channel.

    #information_theory

  8. In information theory, the entropy of a random variable is the average level of "information", "surprise", or "uncertainty" inherent in the variable's possible outcomes.

    #information_theory