Инженеры корпорации Лаборатории Белла (Bell Telephone Laboratories) занимались поисками наиболее эффективного способа передачи телефонных сообщений. И пришли к такой концепции, что измерять эффективность связи надо количеством полученной информации. То есть вот мы получили какое-то сообщение, насколько увеличились наши знания после этого, насколько и эффективна была связь.
И дальше зародилась вполне логичная теория, что какие-то редкие буквы в сообщении несут больше информации, чем те, которые встречаются часто.
Например буква «е» очень частая буква. Если мы уберем ее из слова, то все равно скорее всего сможем понять его значение. Вот например фраза «привт, я прихала» в целом понятно, что это «Привет я приехала».
А вот согласные буквы несут гораздо больше информации, их так просто не уберешь. Посмотрите на эту фразу: « ина лилась на аноу». В этом случае уже не особо то понятно, что имелось в виду, а это просто «Зина злилась на занозу».
И вот инженеры подумали, что зачем нам вообще символы, которые несут мало информации или не несут вовсе. Можно же их значит убрать, и тогда общение будет оптимизировано? Но оказалось, что нельзя.
Дело в том, что с любым сообщением всегда есть риск, что оно передастся с помехами. И вот тебе приходит сообщение только из самых значимых букв, а некоторые буквы в нем потеряны или искажены. И ты в итоге не сможешь прочитать его вообще, потому что каждая буковка несла там важный смысл.
Вот и получается, что символы, которые несут меньше информации, нужны для того, чтобы страховать нас от ошибок расшифровки. Мы отправляем одно сообщение, оно доходит с помехами, мы отправляем второе точно такое же, по сути оно полностью избыточно, но оно приходит уже с другими помехами, и мы можем сравнить эти сообщения и понять, где именно ошибки. А если еще и третье отправить, то и вовсе можно в точности определить исходную информацию.