#шеннон — Public Fediverse posts

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться

За любыми страшными и непонятными математическими формулами скрывается простой и понятный смысл. Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком. К сожалению зачастую такой поиск и тщательная выверенная формулировка такого смысла подменяются у нас свободной литературной интерпретацией, а до проверочных расчетов дело вообще не доходит. Удивительно что на Хабре нет статьи посвященной анализу теоремы Шенннона-Хартли и тому какой смысл она несет. Сатья подготовлена по материалам из книги Бернарда Скляра "Цифровая связь", 2003 г. Содержание: 1. Задачи и проблемы построения эффективных-экономных систем связи 2. Что можно определить как математику компромиссов 3. Несерьезная интерпретация теоремы Шеннона-Хартли из учебных материалов отечественных ВУЗов. 4. Теорема Шеннона из проверенного источника 5. Энтропия как мера информативности 6. Отличие дискритизации по Найквисту от дескритизации по Шеннону 7. Пример со сдвигом за пределы или как и когда можно организовать надежный прием глубоко под шумом.

https://habr.com/ru/articles/885146/

#помехоустойчивое_кодирование #помехоустойчивая_связь #шеннон #энтропия_шеннона #информация #связь #найквист #теория_информации

Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться

За любыми страшными и непонятными математическими формулами скрывается простой и понятный смысл. Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком. К сожалению зачастую такой поиск и тщательная выверенная формулировка такого смысла подменяются у нас свободной литературной интерпретацией, а до проверочных расчетов дело вообще не доходит. Удивительно что на Хабре нет статьи посвященной анализу теоремы Шенннона-Хартли и тому какой смысл она несет. Сатья подготовлена по материалам из книги Бернарда Скляра "Цифровая связь", 2003 г. Содержание: 1. Задачи и проблемы построения эффективных-экономных систем связи 2. Что можно определить как математику компромиссов 3. Несерьезная интерпретация теоремы Шеннона-Хартли из учебных материалов отечественных ВУЗов. 4. Теорема Шеннона из проверенного источника 5. Энтропия как мера информативности 6. Отличие дискритизации по Найквисту от дескритизации по Шеннону 7. Пример со сдвигом за пределы или как и когда можно организовать надежный прием глубоко под шумом.

https://habr.com/ru/articles/885146/

#помехоустойчивое_кодирование #помехоустойчивая_связь #шеннон #энтропия_шеннона #информация #связь #найквист #теория_информации

Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться

За любыми страшными и непонятными математическими формулами скрывается простой и понятный смысл. Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком. К сожалению зачастую такой поиск и тщательная выверенная формулировка такого смысла подменяются у нас свободной литературной интерпретацией, а до проверочных расчетов дело вообще не доходит. Удивительно что на Хабре нет статьи посвященной анализу теоремы Шенннона-Хартли и тому какой смысл она несет. Сатья подготовлена по материалам из книги Бернарда Скляра "Цифровая связь", 2003 г. Содержание: 1. Задачи и проблемы построения эффективных-экономных систем связи 2. Что можно определить как математику компромиссов 3. Несерьезная интерпретация теоремы Шеннона-Хартли из учебных материалов отечественных ВУЗов. 4. Теорема Шеннона из проверенного источника 5. Энтропия как мера информативности 6. Отличие дискритизации по Найквисту от дескритизации по Шеннону 7. Пример со сдвигом за пределы или как и когда можно организовать надежный прием глубоко под шумом.

https://habr.com/ru/articles/885146/

#помехоустойчивое_кодирование #помехоустойчивая_связь #шеннон #энтропия_шеннона #информация #связь #найквист #теория_информации

Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться

За любыми страшными и непонятными математическими формулами скрывается простой и понятный смысл. Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком. К сожалению зачастую такой поиск и тщательная выверенная формулировка такого смысла подменяются у нас свободной литературной интерпретацией, а до проверочных расчетов дело вообще не доходит. Удивительно что на Хабре нет статьи посвященной анализу теоремы Шенннона-Хартли и тому какой смысл она несет. Сатья подготовлена по материалам из книги Бернарда Скляра "Цифровая связь", 2003 г. Содержание: 1. Задачи и проблемы построения эффективных-экономных систем связи 2. Что можно определить как математику компромиссов 3. Несерьезная интерпретация теоремы Шеннона-Хартли из учебных материалов отечественных ВУЗов. 4. Теорема Шеннона из проверенного источника 5. Энтропия как мера информативности 6. Отличие дискритизации по Найквисту от дескритизации по Шеннону 7. Пример со сдвигом за пределы или как и когда можно организовать надежный прием глубоко под шумом.

https://habr.com/ru/articles/885146/

#помехоустойчивое_кодирование #помехоустойчивая_связь #шеннон #энтропия_шеннона #информация #связь #найквист #теория_информации