Прозрение - страница 66

– значение энтропии не должно зависеть от способа постановки задачи, физической сущности системы и языка описания.

– все состояния системы полностью определенны, дискретны.

Рассмотрим сначала систему, у которой все вероятности переходов из состояния в состояние одинаковы, (точки бифуркации идут подряд) и сделаем еще две предпосылки:

– энтропия (S_>p), в этом случае, должна быть монотонной функцией числа возможных состояний системы;

– энтропия должна обладать свойством аддитивности.

Все пять предпосылок достаточно очевидны и не нуждаются в дополнительных комментариях.

Так как вероятности переходов приняты одинаковыми, то энтропия будет зависеть только от числа возможных состояний. Предположим, в течение некоторого времени система переходила из одного состояния в другое m раз. Если обозначить число возможных состояний при каждом переходе через N и иметь в виду первую и пятую предпосылки, то получим,

очевидно, n=N^>m (n – число всех возможных состояний системы) и

Приравняем правые части этих выражений

Теперь продифференцируем это выражение по m и по n

Основание логарифма – a принято произвольным.

Исключим сложную производную из двух последних формул

Учитывая уравнения (2А) и (3А) линейной зависимости S_>p от m и упрощая выражение (7А), получим дифференциальное уравнение

После разделения переменных и интегрирования, имеем

где ln k – произвольная постоянная интегрирования. Отсюда

Так как вероятности переходов приняты одинаковыми, то вероятность каждого i-го состояния равна P_>i=1/n и

Обобщим теперь эту формулу на произвольные вероятности переходов.

Представим себе последовательность переходов с, каждый раз, разным числом возможных равновероятных состояний. При каждом отдельном переходе значение S_>p дает меру неопределенности всех возможных состояний системы или, в терминах теории вероятностей, общую неопределенность опыта. Но каждый отдельный исход опыта (одно из возможных состояний) имеет вероятность P_>i, и, следовательно, вносит долю неопределенности P_>i S_>p. Суммируя теперь эту величину по всем возможным состояниям, получим формулу Шеннона

где n – число возможных состояний системы, а P_>i – вероятность каждого из них, k и a – произвольные постоянные.

Анализ этой формулы показывает, что рост энтропии максимален при равной вероятности возможных состояний; при увеличении n энтропия растет.

При выводе формулы мы не вводили ограничений на обмен энергией между системой и окружающей средой. Следовательно, энтропия всегда и естественно растет в любых материальных системах.

Расчет проведем для рис. 1. Для удобства он и формула повторены ниже. Примем произвольные постоянные в формуле. Как обычно, в кибернетике k=1, a=2. Тогда формула будет выглядеть так

Считаем, состояние В осуществилось с вероятностью равной единице, т.е. это достоверное событие. Тогда энтропия нашей системы в этом состоянии равна нулю, так как логарифм от единицы равен нулю. Вероятности Р_>1 и Р_>2 примем одинаковыми и равными 0,5. Так как возможных состояния только два то N=2. Вычисляем сумму. S= – (Р_>1log_>2 Р_>1+ Р_>2log_>2 Р_>2) = – (0.5(-1)+0.5(-1))=1. Энтропия увеличилась. Так что вероятность состояния С2, в которое перешла система, равна 0,5, и её придется учитывать при дальнейшем развитии событий. Назначим вероятности перехода в состояния D. Р_>3 = 0,4; Р_>4 = 0,3; Р_>5 = 0,3. В сумме должна быть единица. Тогда вероятности событий D вычисляются перемножением вероятности состояния С_>2 на назначенные вероятности переходов. Имеем для состояния D_>1 вероятность 0,4×0,5 =0,2; для состояний D_>2 и D_>3 – 0,15. Теперь энтропия определится так: S= – (0,2log_>2 0,2+ 0,15log_>2 0,15++ 0,15log2 0,15)=1,285. Логарифм по основанию два легко переводится в десятичный или натуральный алгоритм.

Видно, что энтропия нарастает. И этому нет альтернативы при вероятностной картине событий.

Tribus M. Thermostatics and Thermodinamics, D. Van Nostrand Company, Princeton, New Jersey, 1976.

Алгоритм. Определение из словаря: «под алгоритмом понимают последовательность точно описанных операций, выполняемых в определенном порядке. Примерами алгоритма могут служить точно установленные предписания решения математических, логических, физических и всяких других задач, когда эти задачи являются заведомо решаемыми». Мы примем несколько более общее определение.