Понятие «информации». Основные понятия теории информации К. Шеннона. Управление как информационный процесс

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования 

Российская академия народного хозяйства и государственной службы 

при Президенте Российской Федерации

СЕВЕРО-ЗАПАДНЫЙ ИНСТИТУТ УПРАВЛЕНИЯ

Факультет: Публичного и корпоративного администрирования



Дисциплина: Теория управления





Курсовая работа на тему:



Понятие «информации». Основные понятия теории информации К. Шеннона. Управление как информационный процесс



Автор работы:

студентка II курса поток 925

заочной формы обучения 

Арнаут Ксения Ираджевна



Подпись



Научный руководитель:

к.э.н., доцент Кучина Ольга Владимировна

Оценка _________________________________



Подпись

«_____» _________________ 2016 г.  



Санкт-Петербург

2016 год 



СОДЕРЖАНИЕ

Введение…………………………………………..……………………………..3

Глава 1. Теоретические аспекты информации…..................................................6

Информация: понятие, функции, свойства......…………………...6

Мера информации…………………….…………………………...12

Основные понятия теории информации К. Шеннона ………......18

Глава 2. Управление как информационный процесс………………………..28

          2.1. Основные положения управления как информационного процесса………………………………………………………………………...28

         2.2.     Процесс управления информационными технологиями………33

Заключение……………………………………………………………………….37

Список литературы……………………………………………………………....40























ВВЕДЕНИЕ

Актуальность исследования. Строгое понятие информации, а именно количества информации, получило права гражданства только в 50-х годах нашего столетия, латинское informatio - разъяснение, изложение - используется для обозначения сведений и процесса их передачи и получения. 

С развитием общества и появлением потребности в открытии информационных технологий сложилась необходимость исследования видов информации, способов её передачи, кодирования, хранения и использования в различных целях. 

Потребности теории связи привели к развитию комплекса идей, которые и положили основу развития теорию информации. Теория информации в ее современном виде - это научная дисциплина изучающая способы передачи и хранения информации наиболее надежными и экономными методами. Несмотря на то, что она является разделом математики и кибернетики, теория информации интегрирована с огромным количеством различных областей знания и решает самые разные задачи. 

Современное развитие истории характеризуется началом перехода к постиндустриальному (информационному) обществу, теория которого, впервые была предложена Д. Беллом, Э. и Х. Тоффлерами, Г. Лихтхеймом, Р. Дарендорфом, П.Ф. Дракером, М. Кастельсом и другими. Перечисленные авторы считают главной чертой такого общества: выделение информации как основного ресурса, предмета и продукта производства.

Познавая окружающий мир, человек постоянно имеет дело с информацией. Она помогает ему правильно оценить происходящие события, принять обдуманное решение, найти наиболее удачный вариант своих действий. Информация также является сильнейшим средством воздействия на личность и общество в целом. На данный момент информация – одно из главнейших ресурсов и богатств в мире. 

Все вышеперечисленные аспекты проблемы и определили тему курсовой работы: «Понятие «информации». Основные понятия теории информации К. Шеннона. Управление как информационный процесс».

Степень разработанности. Официальной датой рождения «теории информации» как научной дисциплины считается 1948 год - год, когда были опубликованы «Математическая теория связи» Клода Шеннона и «Кибернетика» Норберта Винера. Нисколько не умаляя заслуг этих двух выдающихся американских ученых, следует отметить, что в разных областях науки еще задолго до выхода в свет этих работ появлялись идеи, на базе которых и сформировалась современная теория информации.

Впервые идею о связи между вероятностью и информацией высказал известный английский статистик Рональд Фишер. С другой стороны ряд результатов, сыгравших значительную роль в формировании теории информации, был сформулирован в физике еще в прошлом веке. Так, например, на базе фундаментальных работ, выполненных Л.Больцманом, стало возможным связать понятия вероятности с мерой необратимости (неопределенности) тепловых процессов, получившей название термодинамической энтропии. Впоследствии понятие энтропии, но уже применительно к процессам передачи сигналов стало, наряду с понятием количества информации, основным в теории информации.

Значительный вклад в становление теории информации внесли такие крупнейшие отечественные специалисты в области теории вероятностей и математической статистики как А.Н.Колмогоров, С.А.Бернштейн, А.Я.Хинчин и ряд других. Так как основные положения теории информации построены на понятиях и методах теории вероятностей и математической статистики, то в определенном смысле теория информации может считаться, хотя и самостоятельной, но ветвью этих математических дисциплин.

Объект исследования: информация в информационных системах.

Предмет исследования: основные положения теории информации К. Шеннона и роль управления как информационного процесса в системе информационного знания.

	Цель исследования: рассмотреть теорию информации К. Шеннона в теории информации и управление как информационный процесс.

Задачи:

уточнить понятие «информация»;

раскрыть функции, свойства и меру информации;

охарактеризовать теорию информации К.Шеннона;

проанализировать управление как информационный процесс.

     Методы исследования:

теоретические – анализ, синтез, индукция, классификация





































ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ ИНФОРМАЦИИ

Информация: понятие и функции.

Первоначально смысл слова «информация» (от лат. Informatio – разъяснение, изложение) трактовался как нечто присущее только человеческому сознанию и общению: «знания, сведения, сообщения, известия, передаваемые людьми устным, письменным или другим способом» [1].

Информация не является ни материей, ни энергией. В отличие от них, она может возникать и исчезать.

Особенность информации заключается в том, что проявляется она только при взаимодействии объектов, причем обмен информацией может совершаться не вообще между любыми объектами, а только между теми из них, которые представляют собой организованную структуру (систему). Элементами этой системы могут быть не только люди: обмен информацией может происходить в животном и растительном мире, между живой и неживой природой, людьми и устройствами.

Информация – наиболее важный ресурс современного производства: он снижает потребность в земле, труде, капитале, уменьшает расход сырья и энергии, вызывает к жизни новые производства, является товаром, причем продавец информации не теряет ее после продажи, может накапливаться.

Понятие «информация» обычно предполагает наличие двух объектов – «источника» информации и «приемника» (потребителя, адресата) информации.

Информация передается от источника к приемнику в материально-энергетической форме в виде сигналов (например, электрических, световых, звуковых и т. д.), распространяющихся в определенной среде.

Сигнал (от лат. signum – знак) – физический процесс (явление), несущий сообщение (информацию) о событии или состоянии объекта наблюдения.

Информация может поступать в аналоговом (непрерывном) виде или дискретно (в виде последовательности отдельных сигналов). Соответственно различают аналоговую и дискретную информацию. [19]

Понятие информации можно рассматривать с двух позиций: в широком смысле слова – это окружающий нас мир, обмен сведениями между людьми, обмен сигналами между живой и неживой природой, людьми и устройствами; в узком смысле слова информация – это любые сведения, которые можно сохранить, преобразовать и передать.

Информация – специфический атрибут реального мира, представляющий собой его объективное отражение в виде совокупности сигналов и проявляющийся при взаимодействии с «приемником» информации, позволяющим выделять, регистрировать эти сигналы из окружающего мира и по тому или иному критерию их идентифицировать [16].

Из этого определения следует, что:

• информация объективна, так как это свойство материи – отражение;

• информация проявляется в виде сигналов и лишь при взаимодействии объектов;

• одна и та же информация различными получателями может быть интерпретирована по-разному в зависимости от «настройки» «приемника».

Человек воспринимает сигналы посредством органов чувств, которые «идентифицируются» мозгом. Приемники информации в технике воспринимают сигналы с помощью различной измерительной и регистрирующей аппаратуры. При этом приемник, обладающий большей чувствительностью при регистрации сигналов и более совершенными алгоритмами их обработки, позволяет получить большие объемы информации. [14]

Информация имеет определенные функции. Основными из них являются:

• познавательная – получение новой информации. Функция реализуется в основном через такие этапы обращения информации, как:

– ее синтез (производство)

– представление

– хранение (передача во времени)

– восприятие (потребление)

• коммуникативная – функция общения людей, реализуемая через такие этапы обращения информации, как:

– передача (в пространстве)

– распределение

• управленческая – формирование целесообразного поведения управляемой системы, получающей информацию. Эта функция информации неразрывно связана с познавательной и коммуникативной и реализуется через все основные этапы обращения, включая обработку. [1]

Без информации не может существовать жизнь в любой форме и не могут функционировать любые информационные системы, созданные человеком. Без нее биологические и технические системы представляют груду химических элементов. Общение, коммуникации, обмен информацией присущи всем живым существам, но в особой степени человеку. Будучи аккумулированной и обработанной с определенных позиций, информация дает новые сведения, приводит к новому знанию. Получение информации из окружающего мира, ее анализ и генерирование составляют одну из основных функций человека, отличающую его от остального живого мира.

В общем случае роль информации может ограничиваться эмоциональным воздействием на человека, однако наиболее часто она используется для выработки управляющих воздействий в автоматических (чисто технических) и автоматизированных (человеко-машинных) системах. В подобных системах можно выделить отдельные этапы (фазы) обращения информации, каждый из которых характеризуется определенными действиями.

Последовательность действий, выполняемых с информацией, называют информационным процессом.

Основными информационными процессами являются:

– сбор (восприятие) информации;

– подготовка (преобразование) информации;

– передача информации;

– обработка (преобразование) информации;

– хранение информации;

– отображение (воспроизведение) информации.

На этапе восприятия информации осуществляется целенаправленное извлечение и анализ информации о каком-либо объекте (процессе), в результате чего формируется образ объекта, проводятся его опознание и оценка. Главная задача на этом этапе – отделить полезную информацию от мешающей (шумов), что в ряде случаев связано со значительными трудностями.

На этапе подготовки информации осуществляется ее первичное преобразование. На этом этапе проводятся такие операции, как нормализация, аналого-цифровое преобразование, шифрование. Иногда этап подготовки рассматривается как вспомогательный на этапе восприятия. В результате восприятия и подготовки получается сигнал в форме, удобной для передачи, хранения или обработки. [5]

На этапе передачи информация пересылается из одного места в другое (от отправителя получателю – адресату). Передача осуществляется по каналам различной физической природы, самыми распространенными из которых являются электрические, электромагнитные и оптические. Извлечение сигнала на выходе канала, подверженного действию шумов, носит характер вторичного восприятия.

На этапах обработки информации выявляются ее общие и существенные взаимозависимости, представляющие интерес для системы. Преобразование информации на этапе обработки (как и на других этапах) осуществляется либо средствами информационной техники, либо человеком.

Под обработкой информации понимается любое ее преобразование, проводимое по законам логики, математики, а также неформальным правилам, основанным на «здравом смысле», интуиции, обобщенном опыте, сложившихся взглядах и нормах поведения. Результатом обработки является тоже информация, но либо представленная в иных формах (например, упорядоченная по каким-то признакам), либо содержащая ответы на поставленные вопросы (например, решение некоторой задачи). Если процесс обработки формализуем, он может выполняться техническими средствами. Кардинальные сдвиги в этой области произошли благодаря созданию ЭВМ как универсального преобразователя информации, в связи с чем появились понятия данных и обработки данных.

Данными называют факты, сведения, представленные в формализованном виде (закодированные), занесенные на те или иные носители и допускающие обработку с помощью специальных технических средств (в первую очередь ЭВМ).[5]

Обработка данных предполагает производство различных операций над ними, в первую очередь арифметических и логических, для получения новых данных, которые объективно необходимы (например, при подготовке ответственных решений).

На этапе хранения информацию записывают в запоминающее устройство для последующего использования. Для хранения информации используются в основном полупроводниковые и магнитные носители.

Этап отображения информации должен предшествовать этапам, связанным с участием человека. Цель этого этапа – предоставить человеку нужную ему информацию с помощью устройств, способных воздействовать на его органы чувств.

Любая информация обладает рядом свойств, которые в совокупности определяют степень ее соответствия потребностям пользователя (качество информации). Можно привести немало разнообразных свойств информации, так как каждая научная дисциплина рассматривает те свойства, которые ей наиболее важны. С точки зрения информатики наиболее важными представляются следующие:

Актуальность информации – свойство информации сохранять ценность для потребителя в течение времени, т. е. не подвергаться «моральному» старению.

Полнота информации – свойство информации, характеризуемое мерой достаточности для решения определенных задач. Полнота информации означает, что она обеспечивает принятие правильного (оптимального) решения. Оценивается относительно вполне определенной задачи или группы задач.

Адекватность информации – свойство, заключающееся в соответствии содержательной информации состоянию объекта. Нарушение идентичности связано с техническим старением информации, при котором происходит расхождение реальных признаков объектов и тех же признаков, отображенных в информации.

Сохранность информации – свойство информации, характеризуемое степенью готовности определенных информационных массивов к целевому применению и определяемое способностью контроля и защиты информации обеспечить постоянное наличие и своевременное предоставление информационного массива, необходимых для автоматизированного решения целевых и функциональных задач системы.

Достоверность информации – свойство информации, характеризуемое степенью соответствия реальных информационных единиц их истинному значению. Требуемый уровень достоверности информации достигается путем внедрения методов контроля и защиты информации на всех стадиях ее переработки, повышения надежности комплекса технических и программных средств информационной системы, а также административно-организационными мерами.  [17]

Мера информации

Потребности теории связи привели к развитию комплекса идей, составивших, в конечном счете, теорию информации. Теория информации в ее современном виде - это научная дисциплина изучающая способы передачи и хранения информации наиболее надежными и экономными методами. Однако, являясь разделом математики и кибернетики, теория информации используется для решения широкого круга задач в самых разных областях знания.

Официальной датой рождения этой научной дисциплины считается 1948 год - год, когда были опубликованы «Математическая теория связи» Клода Шеннона и «Кибернетика» Норберта Винера. Нисколько не умаляя заслуг этих двух выдающихся американских ученых, следует отметить, что в разных областях науки еще задолго до выхода в свет этих работ появлялись идеи, на базе которых и сформировалась современная теория информации.

Впервые идею о связи между вероятностью и информацией высказал известный английский статистик Рональд Фишер. С другой стороны ряд результатов, сыгравших значительную роль в формировании теории информации, был сформулирован в физике еще в прошлом веке. Так, например, на базе фундаментальных работ, выполненных Л.Больцманом, стало возможным связать понятия вероятности с мерой необратимости (неопределенности) тепловых процессов, получившей название термодинамической энтропии. Впоследствии понятие энтропии, но уже применительно к процессам передачи сигналов стало, наряду с понятием количества информации, основным в теории информации.

Значительный вклад в становление теории информации внесли такие крупнейшие отечественные специалисты в области теории вероятностей и математической статистики как А.Н.Колмогоров, С.А.Бернштейн, А.Я.Хинчин и ряд других. Так как основные положения теории информации построены на понятиях и методах теории вероятностей и математической статистики, то в определенном смысле теория информации может считаться, хотя и самостоятельной, но ветвью этих математических дисциплин. [10]

В теории информации собственно понятие информации не определено. Однако необходимым и достаточным условием для построения этой теории является понятие количества информации. Количество информации должно определяться через нечто, присущее всему многообразию существующей информации, оставаясь нечувствительным при этом к смыслу и ценности информации. Этим общим является факт проведения эксперимента (опыта), понимаемого в обобщенном смысле, и наличие неопределенности в том или ином исходе эксперимента. В самом деле, если бы получателю до опыта было бы известно, какое сообщение он получит в результате его проведения, то получив сообщение, он не приобрел бы никакого количества информации.

Понятно также, что после проведения эксперимента ситуация становится более определенной, так как либо можно однозначно ответить на вопрос, который стоял перед проведением эксперимента, либо число возможных ответов, а следовательно, и неопределенность уменьшатся. Количество снятой неопределенности после эксперимента можно считать тем количеством информации, которое было получено в ходе этого эксперимента.

Итак, мера количества информации должна отвечать следующим интуитивно понятным свойствам:

1. Количество получаемой информации больше в том испытании, в котором больше число возможных исходов, т.е.

 если >. (1)

Здесь I - количество информации, k и r - число исходов.

2. Испытание с одним исходом, т.е. когда имеет место достоверное событие, несет количество информации, равное нулю:

. (2)

3. Количество информации в двух независимых испытаниях должно равняться сумме количеств информации от каждого из них:

 (3)

Единственной функцией от числа возможных исходов, отвечающей этим требованиям, является логарифмическая. Таким образом, если после испытания неопределенность отсутствует, то количество информации после испытания с k исходами равно

 (4)

В этом выражении предполагается, что все исходы равновероятны, т.е. p=1/n, так что оно может быть переписано в виде



Основание логарифмов a и постоянная c могут быть выбраны произвольно в силу известного тождества . Отсюда следует, что переход от одной системы логарифмов к другой сводится к умножению на постоянный множитель, т.е. эквивалентен простому изменению масштаба. Для удобства принимают с=1 и а=2, тогда

 (5)

Единица измерения количества информации при основании логарифмов а=2 носит название двоичной единицы - бита (англ. binary digit) и соответствует количеству информации, получаемому в результате испытания с двумя равновероятными исходами.

Рассмотрим теперь более общий случай, когда исходы испытаний не равновероятны. Пусть у испытания X имеется n исходов  с вероятностями ) и . В этом случае количество информации, получаемое при реализации исхода , является случайной величиной и равно . Случайная мера информации неудобна для использования, поэтому производят операцию усреднения частных количеств информации по отдельным исходам и получают следующее соотношение:



. (6)

Это соотношение определяет среднее количество информации, которое несет произвольный исход  при условии, что после опыта неопределенность исхода отсутствует. [7]

Для иллюстрации свойств количества информации рассмотрим несколько задач.

Задача. Пусть в некотором университете студенты-естественники составляют 25% от общего числа студентов, 50% из них (естественников) юноши, а всего в университете 35% юношей. Вопрос состоит в том, какое количество информации содержится в сообщении, что встреченный юноша - студент-естественник?

Решение этой задачи можно получить двумя способами. По первому из них, события: «встречен юноша» и «встречен студент-естественник» обозначим через и соответственно. Тогда вероятность совместного наступления событий и  по теореме умножения вероятностей равна

, откуда .

Из условий задачи имеем: . Следовательно

=.

Откуда (бит).

Второй подход к решению этой задачи выглядит так. Количество информации, которое содержится в сообщение, что встреченный юноша - студент-естественник равно

.

В то же время, если встречен просто юноша, то количество информации равно . Это количество информации мы получаем из условий задачи, так как известно, что встречен был юноша. Таким образом, нам необходимо узнать сколько дополнительной информации содержится в сообщении, что он студент-естественник. Естественно, ответ на это можно получить, вычитая из количества информации о том, что встреченный юноша - студент-естественник, известное нам количество информации о том, что встреченный студент - юноша:

бит

Естественно, что независимо от подхода к решению, ответ остается одним и тем же.

Задача. Известно, что среди 12 драгоценных монет одинакового достоинства, одна монета фальшивая (имеет меньший вес). Какое наименьшее число взвешиваний на рычажных весах без гирь надо произвести, чтобы обнаружить фальшивую монету?

Понятно, что любая монета, взятая наугад, может оказаться фальшивой. Поэтому количество информации, полученное из сообщения «взятая наугад монета фальшивая» (бита). Так как произвольное взвешивание имеет три равновероятных исхода (чашки весов в равновесии, перевесила правая чашка, перевесила левая чашка), то количество информации от одного взвешивания равно (бита). Следовательно, минимальное число взвешиваний равно целой части отношения

.формаия количество энтропия вероятность

Как же должно быть организовано взвешивание, позволяющее выделить информацию, «имеющуюся» у фальшивой монеты? В данном случае процедура должна быть организована так, чтобы всякий раз в результате взвешивания получать 1,58 бита информации. Для этого разбивают 12 монет на три равные подгруппы по 4 монеты, взвешивают и сравнивают веса любых двух групп, более легкую из них снова разбивают на три подгруппы (1,1,2), сравнивают веса первых двух подгрупп (по одной монете) и, если чашки остались в равновесии, сравнивают веса двух оставшихся монет, что и позволит однозначно определить фальшивую монету.

Задача. Эксперимент имеет три исхода: с соответствующими вероятностями . Необходимо найти точные и средние количества информации, которые несут указанные выше исходы.

Точные количества информации, получаемые в результате реализации каждого из исходов равны соответственно:(бита); (бит); (бита).

Так как каждый из исходов появляется со своей вероятностью, то (бит). Из этого результата следует, что операцией усреднения индивидуальное различие исходов по информативности уничтожается. [7]

Приведенные примеры иллюстрируют общие подходы к оценке количества информации, и совершенно очевидно, что содержательная сторона задач может меняться в зависимости от области исследования, позволяя решать интересные прикладные задачи в любой из них.

















Основные понятия теории информации К.Шеннона

Клод Элвуд Шеннон (Shannon) (1916 — 2001) — американский инженер и математик. Человек, которого называют отцом современных теорий информации и связи.

В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. А в свободное время К. Шеннон начал развивать идеи, которые потом вылились в теорию информации. Исходная цель математика заключалась в улучшении передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических шумов. Он быстро пришел к выводу, что наилучшее решение проблемы заключается в более эффективной упаковке информации.

В своих работах 1948-1949 годов Шеннон определил количество информации через энтропию — величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу информации принял то, что впоследствии окрестили "битом", то есть выбор одного из двух равновероятных вариантов. Позже Шеннон любил рассказывать, что использовать энтропию ему посоветовал знаменитый математик Джон фон Нейман, который мотивировал свой совет тем, что мало кто из математиков и инженеров знает об энтропии, и это обеспечит Шеннону большое преимущество в неизбежных спорах. Трудно теперь представить, что всего полвека назад понятие "количество информации" еще нуждалось в строгом определении и что это определение могло вызвать какие-то споры.

На прочном фундаменте своего определения количества информации Клод Шеннон доказал теорему о пропускной способности зашумленных каналов связи. Во всей полноте эта теорема была опубликована в его работах 1957-1961 годов и теперь носит его имя. Всякий зашумленный канал связи характеризуется своей предельной скоростью передачи информации, называемой пределом Шеннона. При скоростях передачи выше этого предела неизбежны ошибки в передаваемой информации. Зато снизу к этому пределу можно подойти сколь угодно близко, обеспечивая соответствующим кодированием информации сколь угодно малую вероятность ошибки при любой зашумленности канала. [19]

Эти идеи Шеннона оказались слишком провидческими и не смогли найти себе применения в годы медленной ламповой электроники. Но в наше время высокоскоростных микросхем они работают повсюду, где хранится, обрабатывается и передается информация: в компьютере и лазерном диске, в факсимильном аппарате и межпланетной станции. Мы не замечаем теорему Шеннона, как не замечаем воздух.

В основу теории информации положен предложенный К. Шенноном метод исчислений количества новой (непредсказуемой) и избыточной (предсказуемой) информации, содержащейся в сообщениях, передаваемых по каналам технической связи. [4]

Предложенный Шенноном метод измерения количества информации оказался настолько универсальным, что его применение не ограничивается теперь узкими рамками чисто технических приложений.

Вопреки мнению самого К.Шеннона, предостерегавшего ученых против поспешного распространения предложенного им метода за пределы прикладных задач техники связи, этот метод стал находить все более широкое примение в исследованиях и физических, и биологических, и социальных систем.

Ключом к новому пониманию сущности феномена информации и механизма информационных процессов послужила установленная                          Л. Бриллюэном взаимосвязь информации и физической энтропии. Эта взаимосвязь была первоначально заложена в самый фундамент теории информации, поскольку для исчисления количества информации Шеннон предложил использовать заимствованную из статистической термодинамики вероятную функцию энтропии.

Многие ученые (начиная с самого К. Шеннона) склонны были рассматривать такое заимствование как чисто формальный прием.                         Л. Бриллюэн показал, что между вычисленным согласно Шеннону количеством информации и физической энтропии существует не формальная, а содержательная связь.

В статистической физике с помощью вероятностной функции энтропии исследуются процессы, приводящие к термодинамическому равновесию, при котором все состояния молекул (их энергии, скорости) приближаются к равновероятным, а энтропия при этом стремится к максимальной величине.

Благодаря теории информации стало очевидно, что с помощью той же самой функции можно исследовать и такие далекие от состояния максимальной энтропии системы, как, например, письменный текст.

Сам того не подозревая, Шеннон вооружил науку универсальной мерой, пригодной в принципе (при условии выявления значенй всех вероятностей) для оценки степени упорядоченности всех существующих в мире систем.

Информационная двоичная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n, p — функция вероятности) рассчитывается по формуле:



Эта величина также называется средней энтропией сообщения. Величина называется частной энтропией, характеризующей только i-e состояние. [17]

Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы[1]. Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.

Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:

мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;

в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;

должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

Поэтому функция энтропии H должна удовлетворять условиям:

определена и непрерывна для всех , где для всех и . (Нетрудно видеть, что эта функция зависит только от распределения вероятностей, но не от алфавита.)

Для целых положительных n, должно выполняться следующее неравенство:



Для целых положительных bi, где , должно выполняться равенство:



Шеннон показал, что единственная функция, удовлетворяющая этим требованиям, имеет вид:





где K — константа (и в действительности нужна только для выбора единиц измерения).

Шеннон определил, что измерение энтропии (), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое ожидание "количества информации", содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка — имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т.д..

Определение энтропии Шеннона связано с понятием термодинамической энтропии. Больцман и Гиббс проделали большую работу по статистической термодинамике, которая способствовала принятию слова "энтропия" в информационную теорию. Существует связь между термодинамической и информационной энтропией. Например, демон Максвелла также противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии. [17]

Шеннон писал: «Эта теорема, равно как и необходимые для ее доказательства условия, не являются необходимыми для собственно излагаемой теории. Она приведена, главным образом, для придания правдоподобия некоторым последующим определениям. Действительное же обоснование этих определений, однако, остается за их применениями». [4]

Одновременно с выявлением общих свойств информации как феномена обнаруживаются и принципиальные различия относящихся к различным уровням сложности информационных систем. [4]

Так, например, все физические объекты, в отличие от биологических, не обладают специальными органами памяти, перекодировки поступающих из внешнего мира сигналов, информационными каналами связи. Хранимая в них информация как бы "размазана" по всей их структуре. Вместе с тем, если бы кристаллы не способны были сохранять информацию в определяющих их упорядоченность внутренних связях, не было бы возможности создавать искусственную память и предназначенные для обработки информации технические устройства на основе кристаллических структур.

Глубокое осознание специфики биологических и интеллектуальных систем позволяет выявить те границы, за пределами которых утрачивает свою компетентность разработанный современной наукой информационно-энтропийный подход. [19]

Определить эти границы Шеннону пришлось на самом начальном этапе создания теории информации, поскольку без этого нельзя было использовать количественную меру информации для оценки письменных текстов и других созданных разумом человека информационных систем. Именно с этой целью Шеннон делает оговорку о том, что предложенный им метод исчисления информации письменных текстов игнорирует такие же их неотъемлемые свойства, как смысл и ценность содержащихся в них сообщений.

Так, например, при подсчете количества информации, содержащейся в таких двух сообщениях, как "очередную партию Каспаров играет белыми" и "у гражданина Белова родился сын" получится одна и та же величина – 1 бит. Нет сомнения, что два этих сообщения несут разный смысл и имеют далеко не равнозначную ценность для гражданина Белова. Однако, как было отмечено выше, оценка смысла и ценности информации находится за пределами компетенции теории информации и поэтому не влияет на подсчитываемое с помощью формулы Шеннона количество бит.

Игнорирование смысла и ценности информации не помешало Шеннону решать прикладные задачи, для которых предназначалась первоначально его теория: инженеру по технике связи вовсе не обязательно вникать в суть сообщений, передаваемых по линии связи. Его задача заключается в том, чтобы любое подобное сообщение передавать как можно скорее, с наименьшими затратами средств (энергии, диапазона используемых частот) и, по возможности, безо всяких потерь. И пусть тот, кому предназначена данная информация (получатель сообщений), вникает в смысл, определяет ценность, решает, как испол.......................