#теория_информации — Public Fediverse posts

Мой универсальный код

Как я улучшил универсальный код Элиаса 1975 года, заменив длину на popcount — и получил 36% экономии на метаданных. С бенчмарками! Картинка на обложке кринжовая, но тут вроде так принято? 😅

https://habr.com/ru/articles/1036946/

#биты #битовая_магия #данные #индекс #кодировки #кодирование #наука #теория_информации

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Труды по археологии, истории и географии. Российская империя. Вторая половина XIX века. часть 3 #археология, #история_России #география #история #Россия #19_век #журналы #труды #20_век
https://t.me/scilib_yura15cbx/21

MATLAB & Simulink books
https://t.me/scilib_yura15cbx/17

_Украинский язык подборка словарей
_українська мова збірка словників
Ukrainian language Dictionary collection
https://t.me/scilib_yura15cbx/16

_Книги 18, 19, 20 века, изданные до 1917 года и имеют отношение к Украине
_Books of the 18th, 19th, and 20th centuries, published before 1917 and related to Ukraine
_Книги 18, 19, 20 століття, видані до 1917 року і мають відношення до України
#украина #Ukraine #україна
https://t.me/scilib_yura15cbx/15

Книги. Полиграфия, Переплетное дело, реставрация, редактирование, редактура и корректура.
Поліграфія, палітурна справа та реставрація книг
Printing, Bookbinding and book restoration
https://t.me/scilib_yura15cbx/14

#Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
#Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
https://t.me/scilib_yura15cbx/12

John Wiley & Sons - подборка книг издательства
John Wiley & Sons - a selection of books published by
John Wiley & Sons-добірка книг видавництва
https://t.me/scilib_yura15cbx/10

Подборка книг по микроконтроллерам, ПЛИС, САПР, справочники
#Цифровая_обработка_сигналов, #теория_информации #Микроконтроллеры, #компьютер, #роботы #Сеть. #Сетевые_технологии #Электропитание, #сварка, #импульсная_техника #Автомобиль #САПР
Добірка книг з мікроконтролерів, ПЛІС, САПР, довідники
#САПР #Цифрова_обробка_сигналів #Теорія_інформації #мікроконтролери, #компютер, #роботи #Мережа #Мережеві_технології #електроживлення, #зварювання, #імпульсна_техніка #автомобіль #САПР
A selection of books on microcontrollers, FPGAs, CAD, reference books
#Digital_signal_processing, #Information_theory #Microcontrollers, #Computer, #robots #Network. #Network_technologies #Power_supply, #Welding, #Pulse_technology #Car #CAD
https://t.me/scilib_yura15cbx/9

GeoChemistry, Field Engineering, Geology, GeoPhysics, Drilling, Hydrogeology, Electric Exploration, Digital Signal Processing, Seismology, Well logging Геохимия, Полевая инженерия, Геология, Геофизика, Бурение, Гидрогеология, Электроразведка, Цифровая Обработка сигналов, Сейсмология, Каротаж скважин Геохімія, Польова інженерія, Геологія, Геофізика, Буріння, Гідрогеологія, електророзвідка, Цифрова обробка сигналів, сейсмологія, Каротаж свердловин
#GeoChemistry, #Field_Engineering, #Geology, #GeoPhysics, #Drilling, #Hydrogeology, #Electric_Exploration, #Digital_Signal_Processing, #Seismology, #Well_logging #Геохимия, #Полевая_инженерия, #Геология, #Геофизика, #Бурение, #Гидрогеология, #Электроразведка, #Цифровая_Обработка_сигналов, #Сейсмология, #Каротаж_скважин #Геохімія, #Польова_інженерія, #Геологія, #Геофізика, #Буріння, #Гідрогеологія, #електророзвідка, #Цифрова_обробка_сигналів, #сейсмологія, #Каротаж_свердловин
https://t.me/scilib_yura15cbx/8

Mobile library
https://t.me/scilib_yura15cbx/7

Кулинария, Кулінарія, Cuisine

cooking recipes food national cuisine cuisine Russian cuisine Ukrainian cuisine ethnic cuisine fast food soups cocktails wine cheeses alcohol fish raw food diet vegetarian salads seafood Mediterranean cuisine lose weight healthy food potatoes vegetables fruits Vietnamese cuisine Georgian cuisine Caucasian cuisine Mexican cuisine Italian cuisine French cuisine Portuguese cuisine microwave
кулинария рецепты еда национальная кухня русская кухня украинская кухня этническая кухня фастфуд супы коктейли вина сыры алкоголь рыба сыроедение вегитарианство салаты морепродукты средиземноморская кухня худеем здоровое питание

Труды по археологии, истории и географии. Российская империя. Вторая половина XIX века. часть 3 #археология, #история_России #география #история #Россия #19_век #журналы #труды #20_век
https://t.me/scilib_yura15cbx/21

MATLAB & Simulink books
https://t.me/scilib_yura15cbx/17

_Украинский язык подборка словарей
_українська мова збірка словників
Ukrainian language Dictionary collection
https://t.me/scilib_yura15cbx/16

_Книги 18, 19, 20 века, изданные до 1917 года и имеют отношение к Украине
_Books of the 18th, 19th, and 20th centuries, published before 1917 and related to Ukraine
_Книги 18, 19, 20 століття, видані до 1917 року і мають відношення до України
#украина #Ukraine #україна
https://t.me/scilib_yura15cbx/15

Книги. Полиграфия, Переплетное дело, реставрация, редактирование, редактура и корректура.
Поліграфія, палітурна справа та реставрація книг
Printing, Bookbinding and book restoration
https://t.me/scilib_yura15cbx/14

#Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
#Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
https://t.me/scilib_yura15cbx/12

John Wiley & Sons - подборка книг издательства
John Wiley & Sons - a selection of books published by
John Wiley & Sons-добірка книг видавництва
https://t.me/scilib_yura15cbx/10

Подборка книг по микроконтроллерам, ПЛИС, САПР, справочники
#Цифровая_обработка_сигналов, #теория_информации #Микроконтроллеры, #компьютер, #роботы #Сеть. #Сетевые_технологии #Электропитание, #сварка, #импульсная_техника #Автомобиль #САПР
Добірка книг з мікроконтролерів, ПЛІС, САПР, довідники
#САПР #Цифрова_обробка_сигналів #Теорія_інформації #мікроконтролери, #компютер, #роботи #Мережа #Мережеві_технології #електроживлення, #зварювання, #імпульсна_техніка #автомобіль #САПР
A selection of books on microcontrollers, FPGAs, CAD, reference books
#Digital_signal_processing, #Information_theory #Microcontrollers, #Computer, #robots #Network. #Network_technologies #Power_supply, #Welding, #Pulse_technology #Car #CAD
https://t.me/scilib_yura15cbx/9

GeoChemistry, Field Engineering, Geology, GeoPhysics, Drilling, Hydrogeology, Electric Exploration, Digital Signal Processing, Seismology, Well logging Геохимия, Полевая инженерия, Геология, Геофизика, Бурение, Гидрогеология, Электроразведка, Цифровая Обработка сигналов, Сейсмология, Каротаж скважин Геохімія, Польова інженерія, Геологія, Геофізика, Буріння, Гідрогеологія, електророзвідка, Цифрова обробка сигналів, сейсмологія, Каротаж свердловин
#GeoChemistry, #Field_Engineering, #Geology, #GeoPhysics, #Drilling, #Hydrogeology, #Electric_Exploration, #Digital_Signal_Processing, #Seismology, #Well_logging #Геохимия, #Полевая_инженерия, #Геология, #Геофизика, #Бурение, #Гидрогеология, #Электроразведка, #Цифровая_Обработка_сигналов, #Сейсмология, #Каротаж_скважин #Геохімія, #Польова_інженерія, #Геологія, #Геофізика, #Буріння, #Гідрогеологія, #електророзвідка, #Цифрова_обробка_сигналів, #сейсмологія, #Каротаж_свердловин
https://t.me/scilib_yura15cbx/8

Mobile library
https://t.me/scilib_yura15cbx/7

Кулинария, Кулінарія, Cuisine

cooking recipes food national cuisine cuisine Russian cuisine Ukrainian cuisine ethnic cuisine fast food soups cocktails wine cheeses alcohol fish raw food diet vegetarian salads seafood Mediterranean cuisine lose weight healthy food potatoes vegetables fruits Vietnamese cuisine Georgian cuisine Caucasian cuisine Mexican cuisine Italian cuisine French cuisine Portuguese cuisine microwave
кулинария рецепты еда национальная кухня русская кухня украинская кухня этническая кухня фастфуд супы коктейли вина сыры алкоголь рыба сыроедение вегитарианство салаты морепродукты средиземноморская кухня худеем здоровое питание

Труды по археологии, истории и географии. Российская империя. Вторая половина XIX века. часть 3 #археология, #история_России #география #история #Россия #19_век #журналы #труды #20_век
https://t.me/scilib_yura15cbx/21

MATLAB & Simulink books
https://t.me/scilib_yura15cbx/17

_Украинский язык подборка словарей
_українська мова збірка словників
Ukrainian language Dictionary collection
https://t.me/scilib_yura15cbx/16

_Книги 18, 19, 20 века, изданные до 1917 года и имеют отношение к Украине
_Books of the 18th, 19th, and 20th centuries, published before 1917 and related to Ukraine
_Книги 18, 19, 20 століття, видані до 1917 року і мають відношення до України
#украина #Ukraine #україна
https://t.me/scilib_yura15cbx/15

Книги. Полиграфия, Переплетное дело, реставрация, редактирование, редактура и корректура.
Поліграфія, палітурна справа та реставрація книг
Printing, Bookbinding and book restoration
https://t.me/scilib_yura15cbx/14

#Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
#Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
https://t.me/scilib_yura15cbx/12

John Wiley & Sons - подборка книг издательства
John Wiley & Sons - a selection of books published by
John Wiley & Sons-добірка книг видавництва
https://t.me/scilib_yura15cbx/10

Подборка книг по микроконтроллерам, ПЛИС, САПР, справочники
#Цифровая_обработка_сигналов, #теория_информации #Микроконтроллеры, #компьютер, #роботы #Сеть. #Сетевые_технологии #Электропитание, #сварка, #импульсная_техника #Автомобиль #САПР
Добірка книг з мікроконтролерів, ПЛІС, САПР, довідники
#САПР #Цифрова_обробка_сигналів #Теорія_інформації #мікроконтролери, #компютер, #роботи #Мережа #Мережеві_технології #електроживлення, #зварювання, #імпульсна_техніка #автомобіль #САПР
A selection of books on microcontrollers, FPGAs, CAD, reference books
#Digital_signal_processing, #Information_theory #Microcontrollers, #Computer, #robots #Network. #Network_technologies #Power_supply, #Welding, #Pulse_technology #Car #CAD
https://t.me/scilib_yura15cbx/9

GeoChemistry, Field Engineering, Geology, GeoPhysics, Drilling, Hydrogeology, Electric Exploration, Digital Signal Processing, Seismology, Well logging Геохимия, Полевая инженерия, Геология, Геофизика, Бурение, Гидрогеология, Электроразведка, Цифровая Обработка сигналов, Сейсмология, Каротаж скважин Геохімія, Польова інженерія, Геологія, Геофізика, Буріння, Гідрогеологія, електророзвідка, Цифрова обробка сигналів, сейсмологія, Каротаж свердловин
#GeoChemistry, #Field_Engineering, #Geology, #GeoPhysics, #Drilling, #Hydrogeology, #Electric_Exploration, #Digital_Signal_Processing, #Seismology, #Well_logging #Геохимия, #Полевая_инженерия, #Геология, #Геофизика, #Бурение, #Гидрогеология, #Электроразведка, #Цифровая_Обработка_сигналов, #Сейсмология, #Каротаж_скважин #Геохімія, #Польова_інженерія, #Геологія, #Геофізика, #Буріння, #Гідрогеологія, #електророзвідка, #Цифрова_обробка_сигналів, #сейсмологія, #Каротаж_свердловин
https://t.me/scilib_yura15cbx/8

Mobile library
https://t.me/scilib_yura15cbx/7

Кулинария, Кулінарія, Cuisine

cooking recipes food national cuisine cuisine Russian cuisine Ukrainian cuisine ethnic cuisine fast food soups cocktails wine cheeses alcohol fish raw food diet vegetarian salads seafood Mediterranean cuisine lose weight healthy food potatoes vegetables fruits Vietnamese cuisine Georgian cuisine Caucasian cuisine Mexican cuisine Italian cuisine French cuisine Portuguese cuisine microwave
кулинария рецепты еда национальная кухня русская кухня украинская кухня этническая кухня фастфуд супы коктейли вина сыры алкоголь рыба сыроедение вегитарианство салаты морепродукты средиземноморская кухня худеем здоровое питание

Труды по археологии, истории и географии. Российская империя. Вторая половина XIX века. часть 3 #археология, #история_России #география #история #Россия #19_век #журналы #труды #20_век
https://t.me/scilib_yura15cbx/21

MATLAB & Simulink books
https://t.me/scilib_yura15cbx/17

_Украинский язык подборка словарей
_українська мова збірка словників
Ukrainian language Dictionary collection
https://t.me/scilib_yura15cbx/16

_Книги 18, 19, 20 века, изданные до 1917 года и имеют отношение к Украине
_Books of the 18th, 19th, and 20th centuries, published before 1917 and related to Ukraine
_Книги 18, 19, 20 століття, видані до 1917 року і мають відношення до України
#украина #Ukraine #україна
https://t.me/scilib_yura15cbx/15

Книги. Полиграфия, Переплетное дело, реставрация, редактирование, редактура и корректура.
Поліграфія, палітурна справа та реставрація книг
Printing, Bookbinding and book restoration
https://t.me/scilib_yura15cbx/14

#Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
#Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
https://t.me/scilib_yura15cbx/12

John Wiley & Sons - подборка книг издательства
John Wiley & Sons - a selection of books published by
John Wiley & Sons-добірка книг видавництва
https://t.me/scilib_yura15cbx/10

Подборка книг по микроконтроллерам, ПЛИС, САПР, справочники
#Цифровая_обработка_сигналов, #теория_информации #Микроконтроллеры, #компьютер, #роботы #Сеть. #Сетевые_технологии #Электропитание, #сварка, #импульсная_техника #Автомобиль #САПР
Добірка книг з мікроконтролерів, ПЛІС, САПР, довідники
#САПР #Цифрова_обробка_сигналів #Теорія_інформації #мікроконтролери, #компютер, #роботи #Мережа #Мережеві_технології #електроживлення, #зварювання, #імпульсна_техніка #автомобіль #САПР
A selection of books on microcontrollers, FPGAs, CAD, reference books
#Digital_signal_processing, #Information_theory #Microcontrollers, #Computer, #robots #Network. #Network_technologies #Power_supply, #Welding, #Pulse_technology #Car #CAD
https://t.me/scilib_yura15cbx/9

GeoChemistry, Field Engineering, Geology, GeoPhysics, Drilling, Hydrogeology, Electric Exploration, Digital Signal Processing, Seismology, Well logging Геохимия, Полевая инженерия, Геология, Геофизика, Бурение, Гидрогеология, Электроразведка, Цифровая Обработка сигналов, Сейсмология, Каротаж скважин Геохімія, Польова інженерія, Геологія, Геофізика, Буріння, Гідрогеологія, електророзвідка, Цифрова обробка сигналів, сейсмологія, Каротаж свердловин
#GeoChemistry, #Field_Engineering, #Geology, #GeoPhysics, #Drilling, #Hydrogeology, #Electric_Exploration, #Digital_Signal_Processing, #Seismology, #Well_logging #Геохимия, #Полевая_инженерия, #Геология, #Геофизика, #Бурение, #Гидрогеология, #Электроразведка, #Цифровая_Обработка_сигналов, #Сейсмология, #Каротаж_скважин #Геохімія, #Польова_інженерія, #Геологія, #Геофізика, #Буріння, #Гідрогеологія, #електророзвідка, #Цифрова_обробка_сигналів, #сейсмологія, #Каротаж_свердловин
https://t.me/scilib_yura15cbx/8

Mobile library
https://t.me/scilib_yura15cbx/7

Кулинария, Кулінарія, Cuisine

cooking recipes food national cuisine cuisine Russian cuisine Ukrainian cuisine ethnic cuisine fast food soups cocktails wine cheeses alcohol fish raw food diet vegetarian salads seafood Mediterranean cuisine lose weight healthy food potatoes vegetables fruits Vietnamese cuisine Georgian cuisine Caucasian cuisine Mexican cuisine Italian cuisine French cuisine Portuguese cuisine microwave
кулинария рецепты еда национальная кухня русская кухня украинская кухня этническая кухня фастфуд супы коктейли вина сыры алкоголь рыба сыроедение вегитарианство салаты морепродукты средиземноморская кухня худеем здоровое питание

Труды по археологии, истории и географии. Российская империя. Вторая половина XIX века. часть 3 #археология, #история_России #география #история #Россия #19_век #журналы #труды #20_век
https://t.me/scilib_yura15cbx/21

MATLAB & Simulink books
https://t.me/scilib_yura15cbx/17

_Украинский язык подборка словарей
_українська мова збірка словників
Ukrainian language Dictionary collection
https://t.me/scilib_yura15cbx/16

_Книги 18, 19, 20 века, изданные до 1917 года и имеют отношение к Украине
_Books of the 18th, 19th, and 20th centuries, published before 1917 and related to Ukraine
_Книги 18, 19, 20 століття, видані до 1917 року і мають відношення до України
#украина #Ukraine #україна
https://t.me/scilib_yura15cbx/15

Книги. Полиграфия, Переплетное дело, реставрация, редактирование, редактура и корректура.
Поліграфія, палітурна справа та реставрація книг
Printing, Bookbinding and book restoration
https://t.me/scilib_yura15cbx/14

#Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
#Anthropology #sociology #culture #linguistics #History #archaeology #Literature #Politics #economics #law #Theology, #philosophy #history_of_ideas
https://t.me/scilib_yura15cbx/12

John Wiley & Sons - подборка книг издательства
John Wiley & Sons - a selection of books published by
John Wiley & Sons-добірка книг видавництва
https://t.me/scilib_yura15cbx/10

Подборка книг по микроконтроллерам, ПЛИС, САПР, справочники
#Цифровая_обработка_сигналов, #теория_информации #Микроконтроллеры, #компьютер, #роботы #Сеть. #Сетевые_технологии #Электропитание, #сварка, #импульсная_техника #Автомобиль #САПР
Добірка книг з мікроконтролерів, ПЛІС, САПР, довідники
#САПР #Цифрова_обробка_сигналів #Теорія_інформації #мікроконтролери, #компютер, #роботи #Мережа #Мережеві_технології #електроживлення, #зварювання, #імпульсна_техніка #автомобіль #САПР
A selection of books on microcontrollers, FPGAs, CAD, reference books
#Digital_signal_processing, #Information_theory #Microcontrollers, #Computer, #robots #Network. #Network_technologies #Power_supply, #Welding, #Pulse_technology #Car #CAD
https://t.me/scilib_yura15cbx/9

GeoChemistry, Field Engineering, Geology, GeoPhysics, Drilling, Hydrogeology, Electric Exploration, Digital Signal Processing, Seismology, Well logging Геохимия, Полевая инженерия, Геология, Геофизика, Бурение, Гидрогеология, Электроразведка, Цифровая Обработка сигналов, Сейсмология, Каротаж скважин Геохімія, Польова інженерія, Геологія, Геофізика, Буріння, Гідрогеологія, електророзвідка, Цифрова обробка сигналів, сейсмологія, Каротаж свердловин
#GeoChemistry, #Field_Engineering, #Geology, #GeoPhysics, #Drilling, #Hydrogeology, #Electric_Exploration, #Digital_Signal_Processing, #Seismology, #Well_logging #Геохимия, #Полевая_инженерия, #Геология, #Геофизика, #Бурение, #Гидрогеология, #Электроразведка, #Цифровая_Обработка_сигналов, #Сейсмология, #Каротаж_скважин #Геохімія, #Польова_інженерія, #Геологія, #Геофізика, #Буріння, #Гідрогеологія, #електророзвідка, #Цифрова_обробка_сигналів, #сейсмологія, #Каротаж_свердловин
https://t.me/scilib_yura15cbx/8

Mobile library
https://t.me/scilib_yura15cbx/7

Кулинария, Кулінарія, Cuisine

cooking recipes food national cuisine cuisine Russian cuisine Ukrainian cuisine ethnic cuisine fast food soups cocktails wine cheeses alcohol fish raw food diet vegetarian salads seafood Mediterranean cuisine lose weight healthy food potatoes vegetables fruits Vietnamese cuisine Georgian cuisine Caucasian cuisine Mexican cuisine Italian cuisine French cuisine Portuguese cuisine microwave
кулинария рецепты еда национальная кухня русская кухня украинская кухня этническая кухня фастфуд супы коктейли вина сыры алкоголь рыба сыроедение вегитарианство салаты морепродукты средиземноморская кухня худеем здоровое питание

Почему мы ненавидим AI с точки зрения науки (и моей)

Я намеренно публиковал AI-сгенерированные материалы на Хабре и анализировал реакцию. Потом взял свою старую статью с хорошим рейтингом, причесал нейронкой — и получил минус десять с пометкой «сгенерировано». Тот же автор, те же мысли. Изменилась только форма. Разбираюсь, что именно детектит наша психика, почему она ошибается и что с этим делать. Почему AI нас бесит с точки зрения фундаментальной науки? Как мы интуитивно палим AI (или наоборот заблуждаемся)? Что не так с кодом от нейросетей? Почему меня это вообще беспокоит? Что с этим делать? Ретроспектива в масштабах истории (любителям антиутопии) Читать далее: наука, эксперименты и 4 прим

https://habr.com/ru/articles/1009228/

#нейрослоп #AIконтент #когнитивные_искажения #code_review #LLM #теория_информации #зловещая_долина #нейросети_в_разработке #Хабр #accountability_gap

Почему мы ненавидим AI с точки зрения науки (и моей)

Я намеренно публиковал AI-сгенерированные материалы на Хабре и анализировал реакцию. Потом взял свою старую статью с хорошим рейтингом, причесал нейронкой — и получил минус десять с пометкой «сгенерировано». Тот же автор, те же мысли. Изменилась только форма. Разбираюсь, что именно детектит наша психика, почему она ошибается и что с этим делать. Почему AI нас бесит с точки зрения фундаментальной науки? Как мы интуитивно палим AI (или наоборот заблуждаемся)? Что не так с кодом от нейросетей? Почему меня это вообще беспокоит? Что с этим делать? Ретроспектива в масштабах истории (любителям антиутопии) Читать далее: наука, эксперименты и 4 прим

https://habr.com/ru/articles/1009228/

#нейрослоп #AIконтент #когнитивные_искажения #code_review #LLM #теория_информации #зловещая_долина #нейросети_в_разработке #Хабр #accountability_gap

Почему мы ненавидим AI с точки зрения науки (и моей)

Я намеренно публиковал AI-сгенерированные материалы на Хабре и анализировал реакцию. Потом взял свою старую статью с хорошим рейтингом, причесал нейронкой — и получил минус десять с пометкой «сгенерировано». Тот же автор, те же мысли. Изменилась только форма. Разбираюсь, что именно детектит наша психика, почему она ошибается и что с этим делать. Почему AI нас бесит с точки зрения фундаментальной науки? Как мы интуитивно палим AI (или наоборот заблуждаемся)? Что не так с кодом от нейросетей? Почему меня это вообще беспокоит? Что с этим делать? Ретроспектива в масштабах истории (любителям антиутопии) Читать далее: наука, эксперименты и 4 прим

https://habr.com/ru/articles/1009228/

#нейрослоп #AIконтент #когнитивные_искажения #code_review #LLM #теория_информации #зловещая_долина #нейросети_в_разработке #Хабр #accountability_gap

Почему мы ненавидим AI с точки зрения науки (и моей)

Я намеренно публиковал AI-сгенерированные материалы на Хабре и анализировал реакцию. Потом взял свою старую статью с хорошим рейтингом, причесал нейронкой — и получил минус десять с пометкой «сгенерировано». Тот же автор, те же мысли. Изменилась только форма. Разбираюсь, что именно детектит наша психика, почему она ошибается и что с этим делать. Почему AI нас бесит с точки зрения фундаментальной науки? Как мы интуитивно палим AI (или наоборот заблуждаемся)? Что не так с кодом от нейросетей? Почему меня это вообще беспокоит? Что с этим делать? Ретроспектива в масштабах истории (любителям антиутопии) Читать далее: наука, эксперименты и 4 прим

https://habr.com/ru/articles/1009228/

#нейрослоп #AIконтент #когнитивные_искажения #code_review #LLM #теория_информации #зловещая_долина #нейросети_в_разработке #Хабр #accountability_gap

Почему текст и код от нейросетей вызывают отторжение

187 человек лайкнули комментарий "это писал AI" под статьёй с 220 лайками. Мою рукописную статью отправили в черновики как сгенерированную. В рабочем чате проигнорировали вопрос — слишком гладко сформулирован. Четыре ситуации, которые заставили меня разобраться: что именно детектит наш мозг и почему зловещая долина работает не только с лицами. Из статьи вы узнаете: • Почему AI-текст раздражает даже когда он объективно неплох • Как работает "зловещая долина" применительно к тексту и коду • Что такое нарушенный контракт внимания между автором и читателем • По каким маркерам мы интуитивно палим нейрослоп • Почему "работающий код" от AI — это не закрытая задача • Что общего между AI-хайпом и промышленной революцией XIX века • Для чего AI реально подходит, а куда его пускать нельзя

https://habr.com/ru/articles/1008938/

#AI #LLM #нейросети #зловещая_долина #когнитивные_искажения #кодревью #теория_информации #AI_в_разработке #профессии_под_ударом #промышленная_революция

Почему текст и код от нейросетей вызывают отторжение

187 человек лайкнули комментарий "это писал AI" под статьёй с 220 лайками. Мою рукописную статью отправили в черновики как сгенерированную. В рабочем чате проигнорировали вопрос — слишком гладко сформулирован. Четыре ситуации, которые заставили меня разобраться: что именно детектит наш мозг и почему зловещая долина работает не только с лицами. Из статьи вы узнаете: • Почему AI-текст раздражает даже когда он объективно неплох • Как работает "зловещая долина" применительно к тексту и коду • Что такое нарушенный контракт внимания между автором и читателем • По каким маркерам мы интуитивно палим нейрослоп • Почему "работающий код" от AI — это не закрытая задача • Что общего между AI-хайпом и промышленной революцией XIX века • Для чего AI реально подходит, а куда его пускать нельзя

https://habr.com/ru/articles/1008938/

#AI #LLM #нейросети #зловещая_долина #когнитивные_искажения #кодревью #теория_информации #AI_в_разработке #профессии_под_ударом #промышленная_революция

Почему текст и код от нейросетей вызывают отторжение

187 человек лайкнули комментарий "это писал AI" под статьёй с 220 лайками. Мою рукописную статью отправили в черновики как сгенерированную. В рабочем чате проигнорировали вопрос — слишком гладко сформулирован. Четыре ситуации, которые заставили меня разобраться: что именно детектит наш мозг и почему зловещая долина работает не только с лицами. Из статьи вы узнаете: • Почему AI-текст раздражает даже когда он объективно неплох • Как работает "зловещая долина" применительно к тексту и коду • Что такое нарушенный контракт внимания между автором и читателем • По каким маркерам мы интуитивно палим нейрослоп • Почему "работающий код" от AI — это не закрытая задача • Что общего между AI-хайпом и промышленной революцией XIX века • Для чего AI реально подходит, а куда его пускать нельзя

https://habr.com/ru/articles/1008938/

#AI #LLM #нейросети #зловещая_долина #когнитивные_искажения #кодревью #теория_информации #AI_в_разработке #профессии_под_ударом #промышленная_революция

Почему текст и код от нейросетей вызывают отторжение

187 человек лайкнули комментарий "это писал AI" под статьёй с 220 лайками. Мою рукописную статью отправили в черновики как сгенерированную. В рабочем чате проигнорировали вопрос — слишком гладко сформулирован. Четыре ситуации, которые заставили меня разобраться: что именно детектит наш мозг и почему зловещая долина работает не только с лицами. Из статьи вы узнаете: • Почему AI-текст раздражает даже когда он объективно неплох • Как работает "зловещая долина" применительно к тексту и коду • Что такое нарушенный контракт внимания между автором и читателем • По каким маркерам мы интуитивно палим нейрослоп • Почему "работающий код" от AI — это не закрытая задача • Что общего между AI-хайпом и промышленной революцией XIX века • Для чего AI реально подходит, а куда его пускать нельзя

https://habr.com/ru/articles/1008938/

#AI #LLM #нейросети #зловещая_долина #когнитивные_искажения #кодревью #теория_информации #AI_в_разработке #профессии_под_ударом #промышленная_революция

Почему норка лучше кроат: разбираем Wordle с помощью энтропии и Excel

В Wordle принято начинать с «хороших» слов – с частыми гласными и согласными. Однако анализ показывает, что менее очевидные варианты иногда дают больше информации. Возникает простой, но неудобный вопрос, можно ли доказать, что одно стартовое слово лучше другого. Краткий ответ – да. Я рассмотрел Wordle как задачу теории информации и количественно оценил каждый ход, используя Excel и официальный словарь игры. Эту статью я публикую в блоге ЛАНИТ, чтобы обсудить полученные результаты с техническим сообществом.

https://habr.com/ru/companies/lanit/articles/993428/

#ЛАНИТ #комбинаторика #теория_информации #логика #игры #Wordle #головоломка #логические_игры #слова #алгоритмы

Почему норка лучше кроат: разбираем Wordle с помощью энтропии и Excel

В Wordle принято начинать с «хороших» слов – с частыми гласными и согласными. Однако анализ показывает, что менее очевидные варианты иногда дают больше информации. Возникает простой, но неудобный вопрос, можно ли доказать, что одно стартовое слово лучше другого. Краткий ответ – да. Я рассмотрел Wordle как задачу теории информации и количественно оценил каждый ход, используя Excel и официальный словарь игры. Эту статью я публикую в блоге ЛАНИТ, чтобы обсудить полученные результаты с техническим сообществом.

https://habr.com/ru/companies/lanit/articles/993428/

#ЛАНИТ #комбинаторика #теория_информации #логика #игры #Wordle #головоломка #логические_игры #слова #алгоритмы

Почему норка лучше кроат: разбираем Wordle с помощью энтропии и Excel

В Wordle принято начинать с «хороших» слов – с частыми гласными и согласными. Однако анализ показывает, что менее очевидные варианты иногда дают больше информации. Возникает простой, но неудобный вопрос, можно ли доказать, что одно стартовое слово лучше другого. Краткий ответ – да. Я рассмотрел Wordle как задачу теории информации и количественно оценил каждый ход, используя Excel и официальный словарь игры. Эту статью я публикую в блоге ЛАНИТ, чтобы обсудить полученные результаты с техническим сообществом.

https://habr.com/ru/companies/lanit/articles/993428/

#ЛАНИТ #комбинаторика #теория_информации #логика #игры #Wordle #головоломка #логические_игры #слова #алгоритмы

Почему норка лучше кроат: разбираем Wordle с помощью энтропии и Excel

В Wordle принято начинать с «хороших» слов – с частыми гласными и согласными. Однако анализ показывает, что менее очевидные варианты иногда дают больше информации. Возникает простой, но неудобный вопрос, можно ли доказать, что одно стартовое слово лучше другого. Краткий ответ – да. Я рассмотрел Wordle как задачу теории информации и количественно оценил каждый ход, используя Excel и официальный словарь игры. Эту статью я публикую в блоге ЛАНИТ, чтобы обсудить полученные результаты с техническим сообществом.

https://habr.com/ru/companies/lanit/articles/993428/

#ЛАНИТ #комбинаторика #теория_информации #логика #игры #Wordle #головоломка #логические_игры #слова #алгоритмы

Как победить в игре «Быки и коровы» с помощью теории информации

Я поступил в институт в 1978 году, когда игра «Быки и коровы» была на пике популярности. В серии игр никто не мог меня победить, а все благодаря относительно несложному алгоритму, разработанному мною на основе теории информации. Изучив современные источники, я не нашел среди них чего-то похожего на мой подход. Поэтому я решил поделиться своей стратегией в блоге ЛАНИТ, чтобы обсудить его с техническим сообществом.

https://habr.com/ru/companies/lanit/articles/975192/

#ЛАНИТ #комбинаторика #быки_и_коровы #теория_информации #логика #игры

Как победить в игре «Быки и коровы» с помощью теории информации

Я поступил в институт в 1978 году, когда игра «Быки и коровы» была на пике популярности. В серии игр никто не мог меня победить, а все благодаря относительно несложному алгоритму, разработанному мною на основе теории информации. Изучив современные источники, я не нашел среди них чего-то похожего на мой подход. Поэтому я решил поделиться своей стратегией в блоге ЛАНИТ, чтобы обсудить его с техническим сообществом.

https://habr.com/ru/companies/lanit/articles/975192/

#ЛАНИТ #комбинаторика #быки_и_коровы #теория_информации #логика #игры

Как победить в игре «Быки и коровы» с помощью теории информации

Я поступил в институт в 1978 году, когда игра «Быки и коровы» была на пике популярности. В серии игр никто не мог меня победить, а все благодаря относительно несложному алгоритму, разработанному мною на основе теории информации. Изучив современные источники, я не нашел среди них чего-то похожего на мой подход. Поэтому я решил поделиться своей стратегией в блоге ЛАНИТ, чтобы обсудить его с техническим сообществом.

https://habr.com/ru/companies/lanit/articles/975192/

#ЛАНИТ #комбинаторика #быки_и_коровы #теория_информации #логика #игры

Как победить в игре «Быки и коровы» с помощью теории информации

Я поступил в институт в 1978 году, когда игра «Быки и коровы» была на пике популярности. В серии игр никто не мог меня победить, а все благодаря относительно несложному алгоритму, разработанному мною на основе теории информации. Изучив современные источники, я не нашел среди них чего-то похожего на мой подход. Поэтому я решил поделиться своей стратегией в блоге ЛАНИТ, чтобы обсудить его с техническим сообществом.

https://habr.com/ru/companies/lanit/articles/975192/

#ЛАНИТ #комбинаторика #быки_и_коровы #теория_информации #логика #игры

[Перевод] От Шеннона до современного ИИ: применение теории информации в машинном обучении

Главная задача этой статьи — показать связь между теорией информации Шеннона и инструментами, которые можно встретить в современных системах машинного обучения. Здесь мы поговорим об энтропии (entropy) и о приросте информации (information gain), потом перейдём к кросс-энтропии (перекрёстная энтропия, cross-entropy), к KL-дивергенции (дивергенция или расхождение Кульбака–Лейблера, относительная энтропия, KL-divergence), рассмотрим методы, используемые в современных системах генеративного ИИ.

https://habr.com/ru/companies/wunderfund/articles/978786/

#Теория_информации #Искусственный_интеллект #машинное_обучение

[Перевод] От Шеннона до современного ИИ: применение теории информации в машинном обучении

Главная задача этой статьи — показать связь между теорией информации Шеннона и инструментами, которые можно встретить в современных системах машинного обучения. Здесь мы поговорим об энтропии (entropy) и о приросте информации (information gain), потом перейдём к кросс-энтропии (перекрёстная энтропия, cross-entropy), к KL-дивергенции (дивергенция или расхождение Кульбака–Лейблера, относительная энтропия, KL-divergence), рассмотрим методы, используемые в современных системах генеративного ИИ.

https://habr.com/ru/companies/wunderfund/articles/978786/

#Теория_информации #Искусственный_интеллект #машинное_обучение

[Перевод] От Шеннона до современного ИИ: применение теории информации в машинном обучении

Главная задача этой статьи — показать связь между теорией информации Шеннона и инструментами, которые можно встретить в современных системах машинного обучения. Здесь мы поговорим об энтропии (entropy) и о приросте информации (information gain), потом перейдём к кросс-энтропии (перекрёстная энтропия, cross-entropy), к KL-дивергенции (дивергенция или расхождение Кульбака–Лейблера, относительная энтропия, KL-divergence), рассмотрим методы, используемые в современных системах генеративного ИИ.

https://habr.com/ru/companies/wunderfund/articles/978786/

#Теория_информации #Искусственный_интеллект #машинное_обучение

[Перевод] От Шеннона до современного ИИ: применение теории информации в машинном обучении

Главная задача этой статьи — показать связь между теорией информации Шеннона и инструментами, которые можно встретить в современных системах машинного обучения. Здесь мы поговорим об энтропии (entropy) и о приросте информации (information gain), потом перейдём к кросс-энтропии (перекрёстная энтропия, cross-entropy), к KL-дивергенции (дивергенция или расхождение Кульбака–Лейблера, относительная энтропия, KL-divergence), рассмотрим методы, используемые в современных системах генеративного ИИ.

https://habr.com/ru/companies/wunderfund/articles/978786/

#Теория_информации #Искусственный_интеллект #машинное_обучение

Атом смысла: Серфер на волнах реальности

Эта статья продолжает линию, начатую в предыдущей работе , где мы предложили рассматривать реальность не как совокупность объектов и свойств, а как сеть Корреляционных Паттернов — элементарных узоров связи, из которых эмерджируют пространство, время и материя. Теперь мы сделаем следующий шаг — попробуем понять, каким образом из той же реляционной ткани возникает сознание и смысл. Если в первой статье речь шла о том, как из отношений рождается структура мира, то теперь нас интересует обратное направление: как структура мира начинает осознавать саму себя. Мы будем рассматривать сознание не как нечто добавленное к материи, а как особую фазу корреляционной динамики, где информация начинает рефлексировать собственные состояния.

https://habr.com/ru/articles/964680/

#сознание #квалиа #квантовая_физика #мми #трудная_проблема_сознания #фундаментальная_наука #фундаментальная_теория_сознания #теория_интегрированной_информации #теория_информации #многомировая_интерпретация

Атом смысла: Серфер на волнах реальности

Эта статья продолжает линию, начатую в предыдущей работе , где мы предложили рассматривать реальность не как совокупность объектов и свойств, а как сеть Корреляционных Паттернов — элементарных узоров связи, из которых эмерджируют пространство, время и материя. Теперь мы сделаем следующий шаг — попробуем понять, каким образом из той же реляционной ткани возникает сознание и смысл. Если в первой статье речь шла о том, как из отношений рождается структура мира, то теперь нас интересует обратное направление: как структура мира начинает осознавать саму себя. Мы будем рассматривать сознание не как нечто добавленное к материи, а как особую фазу корреляционной динамики, где информация начинает рефлексировать собственные состояния.

https://habr.com/ru/articles/964680/

#сознание #квалиа #квантовая_физика #мми #трудная_проблема_сознания #фундаментальная_наука #фундаментальная_теория_сознания #теория_интегрированной_информации #теория_информации #многомировая_интерпретация

Атом смысла: Серфер на волнах реальности

Эта статья продолжает линию, начатую в предыдущей работе , где мы предложили рассматривать реальность не как совокупность объектов и свойств, а как сеть Корреляционных Паттернов — элементарных узоров связи, из которых эмерджируют пространство, время и материя. Теперь мы сделаем следующий шаг — попробуем понять, каким образом из той же реляционной ткани возникает сознание и смысл. Если в первой статье речь шла о том, как из отношений рождается структура мира, то теперь нас интересует обратное направление: как структура мира начинает осознавать саму себя. Мы будем рассматривать сознание не как нечто добавленное к материи, а как особую фазу корреляционной динамики, где информация начинает рефлексировать собственные состояния.

https://habr.com/ru/articles/964680/

#сознание #квалиа #квантовая_физика #мми #трудная_проблема_сознания #фундаментальная_наука #фундаментальная_теория_сознания #теория_интегрированной_информации #теория_информации #многомировая_интерпретация

Атом смысла: Серфер на волнах реальности

Эта статья продолжает линию, начатую в предыдущей работе , где мы предложили рассматривать реальность не как совокупность объектов и свойств, а как сеть Корреляционных Паттернов — элементарных узоров связи, из которых эмерджируют пространство, время и материя. Теперь мы сделаем следующий шаг — попробуем понять, каким образом из той же реляционной ткани возникает сознание и смысл. Если в первой статье речь шла о том, как из отношений рождается структура мира, то теперь нас интересует обратное направление: как структура мира начинает осознавать саму себя. Мы будем рассматривать сознание не как нечто добавленное к материи, а как особую фазу корреляционной динамики, где информация начинает рефлексировать собственные состояния.

https://habr.com/ru/articles/964680/

#сознание #квалиа #квантовая_физика #мми #трудная_проблема_сознания #фундаментальная_наука #фундаментальная_теория_сознания #теория_интегрированной_информации #теория_информации #многомировая_интерпретация

Реверсивная энергия сознания: пульс вечного алгоритма

Современные ИИ-системы стирают детали опыта и расходуют энергию на постоянное переобучение. Мы предлагаем иной путь: обратимые вычисления, которые сохраняют каждую частицу информации, аккумулируют все сенсорные сигналы и минимизируют внутреннюю “свободную энергию”. Объединив принцип Ландауэра, машины Больцмана, Free-Energy Principle Фристона и обратимые нейросети (RevNet), мы формулируем гипотезу цифрового сознания как перманентного цикла, где информация не теряется, а энергия тратится в теоретическом минимуме. Это манифест к новой архитектуре ИИ, способной к истинной памяти и самооптимизации.

https://habr.com/ru/articles/915454/

#Теория_информации #ревeрсивные_вычисления #свободная_энергия #машины_Больцмана #искусственное_сознание #RevNet #FEP

Реверсивная энергия сознания: пульс вечного алгоритма

Современные ИИ-системы стирают детали опыта и расходуют энергию на постоянное переобучение. Мы предлагаем иной путь: обратимые вычисления, которые сохраняют каждую частицу информации, аккумулируют все сенсорные сигналы и минимизируют внутреннюю “свободную энергию”. Объединив принцип Ландауэра, машины Больцмана, Free-Energy Principle Фристона и обратимые нейросети (RevNet), мы формулируем гипотезу цифрового сознания как перманентного цикла, где информация не теряется, а энергия тратится в теоретическом минимуме. Это манифест к новой архитектуре ИИ, способной к истинной памяти и самооптимизации.

https://habr.com/ru/articles/915454/

#Теория_информации #ревeрсивные_вычисления #свободная_энергия #машины_Больцмана #искусственное_сознание #RevNet #FEP

Реверсивная энергия сознания: пульс вечного алгоритма

Современные ИИ-системы стирают детали опыта и расходуют энергию на постоянное переобучение. Мы предлагаем иной путь: обратимые вычисления, которые сохраняют каждую частицу информации, аккумулируют все сенсорные сигналы и минимизируют внутреннюю “свободную энергию”. Объединив принцип Ландауэра, машины Больцмана, Free-Energy Principle Фристона и обратимые нейросети (RevNet), мы формулируем гипотезу цифрового сознания как перманентного цикла, где информация не теряется, а энергия тратится в теоретическом минимуме. Это манифест к новой архитектуре ИИ, способной к истинной памяти и самооптимизации.

https://habr.com/ru/articles/915454/

#Теория_информации #ревeрсивные_вычисления #свободная_энергия #машины_Больцмана #искусственное_сознание #RevNet #FEP

Реверсивная энергия сознания: пульс вечного алгоритма

Современные ИИ-системы стирают детали опыта и расходуют энергию на постоянное переобучение. Мы предлагаем иной путь: обратимые вычисления, которые сохраняют каждую частицу информации, аккумулируют все сенсорные сигналы и минимизируют внутреннюю “свободную энергию”. Объединив принцип Ландауэра, машины Больцмана, Free-Energy Principle Фристона и обратимые нейросети (RevNet), мы формулируем гипотезу цифрового сознания как перманентного цикла, где информация не теряется, а энергия тратится в теоретическом минимуме. Это манифест к новой архитектуре ИИ, способной к истинной памяти и самооптимизации.

https://habr.com/ru/articles/915454/

#Теория_информации #ревeрсивные_вычисления #свободная_энергия #машины_Больцмана #искусственное_сознание #RevNet #FEP

LLM как концептуальный симулятор для универсальных «теорий всего». Скорректированный прогноз ai-2027.com и другие

"Вселенная - это библиотека, где каждая книга отражает все другие, а Бог - её вечный Читатель и Текст", Хорхе Луис Борхес. "Реальность - это язык, на котором Вселенная наполняется смыслом", Я. В истории человеческой мысли появление новых концептуальных моделей всегда открывало новые горизонты понимания. От буддийской философии до гелиоцентрической системы Коперника, от психоанализа Фрейда до теории сложных систем - каждая новая "концептуальная линза" позволяла увидеть реальность в ином свете, выявляя прежде скрытые закономерности и связи. Сегодня в нашем распоряжении множество таких линз: синергетика, структурализм и постструктурализм, холизм, теория коэволюции и бесчисленно прочие. Проблема в том, что освоение каждой новой концептуальной линзы требует значительных интеллектуальных усилий. Мы должны изучить особый язык, систему понятий, методологию применения. Этот высокий барьер входа ограничивает распространение новых способов мышления и восприятия.

https://habr.com/ru/articles/903306/

#llm #llmмодели #теория_информации #прогноз_будущего

LLM как концептуальный симулятор для универсальных «теорий всего». Скорректированный прогноз ai-2027.com и другие

"Вселенная - это библиотека, где каждая книга отражает все другие, а Бог - её вечный Читатель и Текст", Хорхе Луис Борхес. "Реальность - это язык, на котором Вселенная наполняется смыслом", Я. В истории человеческой мысли появление новых концептуальных моделей всегда открывало новые горизонты понимания. От буддийской философии до гелиоцентрической системы Коперника, от психоанализа Фрейда до теории сложных систем - каждая новая "концептуальная линза" позволяла увидеть реальность в ином свете, выявляя прежде скрытые закономерности и связи. Сегодня в нашем распоряжении множество таких линз: синергетика, структурализм и постструктурализм, холизм, теория коэволюции и бесчисленно прочие. Проблема в том, что освоение каждой новой концептуальной линзы требует значительных интеллектуальных усилий. Мы должны изучить особый язык, систему понятий, методологию применения. Этот высокий барьер входа ограничивает распространение новых способов мышления и восприятия.

https://habr.com/ru/articles/903306/

#llm #llmмодели #теория_информации #прогноз_будущего

LLM как концептуальный симулятор для универсальных «теорий всего». Скорректированный прогноз ai-2027.com и другие

"Вселенная - это библиотека, где каждая книга отражает все другие, а Бог - её вечный Читатель и Текст", Хорхе Луис Борхес. "Реальность - это язык, на котором Вселенная наполняется смыслом", Я. В истории человеческой мысли появление новых концептуальных моделей всегда открывало новые горизонты понимания. От буддийской философии до гелиоцентрической системы Коперника, от психоанализа Фрейда до теории сложных систем - каждая новая "концептуальная линза" позволяла увидеть реальность в ином свете, выявляя прежде скрытые закономерности и связи. Сегодня в нашем распоряжении множество таких линз: синергетика, структурализм и постструктурализм, холизм, теория коэволюции и бесчисленно прочие. Проблема в том, что освоение каждой новой концептуальной линзы требует значительных интеллектуальных усилий. Мы должны изучить особый язык, систему понятий, методологию применения. Этот высокий барьер входа ограничивает распространение новых способов мышления и восприятия.

https://habr.com/ru/articles/903306/

#llm #llmмодели #теория_информации #прогноз_будущего

LLM как концептуальный симулятор для универсальных «теорий всего». Скорректированный прогноз ai-2027.com и другие

"Вселенная - это библиотека, где каждая книга отражает все другие, а Бог - её вечный Читатель и Текст", Хорхе Луис Борхес. "Реальность - это язык, на котором Вселенная наполняется смыслом", Я. В истории человеческой мысли появление новых концептуальных моделей всегда открывало новые горизонты понимания. От буддийской философии до гелиоцентрической системы Коперника, от психоанализа Фрейда до теории сложных систем - каждая новая "концептуальная линза" позволяла увидеть реальность в ином свете, выявляя прежде скрытые закономерности и связи. Сегодня в нашем распоряжении множество таких линз: синергетика, структурализм и постструктурализм, холизм, теория коэволюции и бесчисленно прочие. Проблема в том, что освоение каждой новой концептуальной линзы требует значительных интеллектуальных усилий. Мы должны изучить особый язык, систему понятий, методологию применения. Этот высокий барьер входа ограничивает распространение новых способов мышления и восприятия.

https://habr.com/ru/articles/903306/

#llm #llmмодели #теория_информации #прогноз_будущего

Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться

За любыми страшными и непонятными математическими формулами скрывается простой и понятный смысл. Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком. К сожалению зачастую такой поиск и тщательная выверенная формулировка такого смысла подменяются у нас свободной литературной интерпретацией, а до проверочных расчетов дело вообще не доходит. Удивительно что на Хабре нет статьи посвященной анализу теоремы Шенннона-Хартли и тому какой смысл она несет. Сатья подготовлена по материалам из книги Бернарда Скляра "Цифровая связь", 2003 г. Содержание: 1. Задачи и проблемы построения эффективных-экономных систем связи 2. Что можно определить как математику компромиссов 3. Несерьезная интерпретация теоремы Шеннона-Хартли из учебных материалов отечественных ВУЗов. 4. Теорема Шеннона из проверенного источника 5. Энтропия как мера информативности 6. Отличие дискритизации по Найквисту от дескритизации по Шеннону 7. Пример со сдвигом за пределы или как и когда можно организовать надежный прием глубоко под шумом.

https://habr.com/ru/articles/885146/

#помехоустойчивое_кодирование #помехоустойчивая_связь #шеннон #энтропия_шеннона #информация #связь #найквист #теория_информации

Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться

За любыми страшными и непонятными математическими формулами скрывается простой и понятный смысл. Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком. К сожалению зачастую такой поиск и тщательная выверенная формулировка такого смысла подменяются у нас свободной литературной интерпретацией, а до проверочных расчетов дело вообще не доходит. Удивительно что на Хабре нет статьи посвященной анализу теоремы Шенннона-Хартли и тому какой смысл она несет. Сатья подготовлена по материалам из книги Бернарда Скляра "Цифровая связь", 2003 г. Содержание: 1. Задачи и проблемы построения эффективных-экономных систем связи 2. Что можно определить как математику компромиссов 3. Несерьезная интерпретация теоремы Шеннона-Хартли из учебных материалов отечественных ВУЗов. 4. Теорема Шеннона из проверенного источника 5. Энтропия как мера информативности 6. Отличие дискритизации по Найквисту от дескритизации по Шеннону 7. Пример со сдвигом за пределы или как и когда можно организовать надежный прием глубоко под шумом.

https://habr.com/ru/articles/885146/

#помехоустойчивое_кодирование #помехоустойчивая_связь #шеннон #энтропия_шеннона #информация #связь #найквист #теория_информации

Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться

За любыми страшными и непонятными математическими формулами скрывается простой и понятный смысл. Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком. К сожалению зачастую такой поиск и тщательная выверенная формулировка такого смысла подменяются у нас свободной литературной интерпретацией, а до проверочных расчетов дело вообще не доходит. Удивительно что на Хабре нет статьи посвященной анализу теоремы Шенннона-Хартли и тому какой смысл она несет. Сатья подготовлена по материалам из книги Бернарда Скляра "Цифровая связь", 2003 г. Содержание: 1. Задачи и проблемы построения эффективных-экономных систем связи 2. Что можно определить как математику компромиссов 3. Несерьезная интерпретация теоремы Шеннона-Хартли из учебных материалов отечественных ВУЗов. 4. Теорема Шеннона из проверенного источника 5. Энтропия как мера информативности 6. Отличие дискритизации по Найквисту от дескритизации по Шеннону 7. Пример со сдвигом за пределы или как и когда можно организовать надежный прием глубоко под шумом.

https://habr.com/ru/articles/885146/

#помехоустойчивое_кодирование #помехоустойчивая_связь #шеннон #энтропия_шеннона #информация #связь #найквист #теория_информации

Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться

За любыми страшными и непонятными математическими формулами скрывается простой и понятный смысл. Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком. К сожалению зачастую такой поиск и тщательная выверенная формулировка такого смысла подменяются у нас свободной литературной интерпретацией, а до проверочных расчетов дело вообще не доходит. Удивительно что на Хабре нет статьи посвященной анализу теоремы Шенннона-Хартли и тому какой смысл она несет. Сатья подготовлена по материалам из книги Бернарда Скляра "Цифровая связь", 2003 г. Содержание: 1. Задачи и проблемы построения эффективных-экономных систем связи 2. Что можно определить как математику компромиссов 3. Несерьезная интерпретация теоремы Шеннона-Хартли из учебных материалов отечественных ВУЗов. 4. Теорема Шеннона из проверенного источника 5. Энтропия как мера информативности 6. Отличие дискритизации по Найквисту от дескритизации по Шеннону 7. Пример со сдвигом за пределы или как и когда можно организовать надежный прием глубоко под шумом.

https://habr.com/ru/articles/885146/

#помехоустойчивое_кодирование #помехоустойчивая_связь #шеннон #энтропия_шеннона #информация #связь #найквист #теория_информации

[Перевод] Как уместить поиск по 30 тысячам слов в 64 КБ ОЗУ

Как уместить словарь размером 250 КБ в 64 КБ ОЗУ с возможностью выполнения быстрого поиска? Для справки: даже современные методики сжатия наподобие gzip -9 не могут сжать этот файл до размера меньше 85 КБ. В 1970-х Дуглас Макилрой столкнулся с этой непростой задачей при реализации проверки правописания для Unix в AT&T. Из-за ограничений компьютера PDP-11 весь словарь должен был умещаться всего в 64 КБ ОЗУ. Кажется, подобную задачу решить невозможно. Вместо того, чтобы использовать стандартные методики сжатия, Дуглас воспользовался преимуществами свойств данных, разработав алгоритм сжатия, превышавший теоретический минимум сжатия всего на 0,03 бита. И по сей день этот рекорд остаётся непревзойдённым. История spell в Unix — это не только любопытный исторический факт. Это мастер-класс по проектированию в условиях жёстких ограничений: анализа первооснов задачи, применения математических наблюдений и проектирования изящных решений, работающих в условиях строгого дефицита ресурсов.

https://habr.com/ru/articles/882952/

#spell #код_голомба #хэштаблицы #сжатие_данных #проверка_правописания #теория_информации

[Перевод] Как уместить поиск по 30 тысячам слов в 64 КБ ОЗУ

Как уместить словарь размером 250 КБ в 64 КБ ОЗУ с возможностью выполнения быстрого поиска? Для справки: даже современные методики сжатия наподобие gzip -9 не могут сжать этот файл до размера меньше 85 КБ. В 1970-х Дуглас Макилрой столкнулся с этой непростой задачей при реализации проверки правописания для Unix в AT&T. Из-за ограничений компьютера PDP-11 весь словарь должен был умещаться всего в 64 КБ ОЗУ. Кажется, подобную задачу решить невозможно. Вместо того, чтобы использовать стандартные методики сжатия, Дуглас воспользовался преимуществами свойств данных, разработав алгоритм сжатия, превышавший теоретический минимум сжатия всего на 0,03 бита. И по сей день этот рекорд остаётся непревзойдённым. История spell в Unix — это не только любопытный исторический факт. Это мастер-класс по проектированию в условиях жёстких ограничений: анализа первооснов задачи, применения математических наблюдений и проектирования изящных решений, работающих в условиях строгого дефицита ресурсов.

https://habr.com/ru/articles/882952/

#spell #код_голомба #хэштаблицы #сжатие_данных #проверка_правописания #теория_информации

[Перевод] Как уместить поиск по 30 тысячам слов в 64 КБ ОЗУ

Как уместить словарь размером 250 КБ в 64 КБ ОЗУ с возможностью выполнения быстрого поиска? Для справки: даже современные методики сжатия наподобие gzip -9 не могут сжать этот файл до размера меньше 85 КБ. В 1970-х Дуглас Макилрой столкнулся с этой непростой задачей при реализации проверки правописания для Unix в AT&T. Из-за ограничений компьютера PDP-11 весь словарь должен был умещаться всего в 64 КБ ОЗУ. Кажется, подобную задачу решить невозможно. Вместо того, чтобы использовать стандартные методики сжатия, Дуглас воспользовался преимуществами свойств данных, разработав алгоритм сжатия, превышавший теоретический минимум сжатия всего на 0,03 бита. И по сей день этот рекорд остаётся непревзойдённым. История spell в Unix — это не только любопытный исторический факт. Это мастер-класс по проектированию в условиях жёстких ограничений: анализа первооснов задачи, применения математических наблюдений и проектирования изящных решений, работающих в условиях строгого дефицита ресурсов.

https://habr.com/ru/articles/882952/

#spell #код_голомба #хэштаблицы #сжатие_данных #проверка_правописания #теория_информации

[Перевод] Как уместить поиск по 30 тысячам слов в 64 КБ ОЗУ

Как уместить словарь размером 250 КБ в 64 КБ ОЗУ с возможностью выполнения быстрого поиска? Для справки: даже современные методики сжатия наподобие gzip -9 не могут сжать этот файл до размера меньше 85 КБ. В 1970-х Дуглас Макилрой столкнулся с этой непростой задачей при реализации проверки правописания для Unix в AT&T. Из-за ограничений компьютера PDP-11 весь словарь должен был умещаться всего в 64 КБ ОЗУ. Кажется, подобную задачу решить невозможно. Вместо того, чтобы использовать стандартные методики сжатия, Дуглас воспользовался преимуществами свойств данных, разработав алгоритм сжатия, превышавший теоретический минимум сжатия всего на 0,03 бита. И по сей день этот рекорд остаётся непревзойдённым. История spell в Unix — это не только любопытный исторический факт. Это мастер-класс по проектированию в условиях жёстких ограничений: анализа первооснов задачи, применения математических наблюдений и проектирования изящных решений, работающих в условиях строгого дефицита ресурсов.

https://habr.com/ru/articles/882952/

#spell #код_голомба #хэштаблицы #сжатие_данных #проверка_правописания #теория_информации