Informacja i entropia
Omawiając pojęcie informacji, nie sposób nie poruszyć innego pokrewnego pojęcia - entropii. Po raz pierwszy pojęcia entropii i informacji połączył K. Shannon.
| Claude Elwood Shannon ( Claude Elwood Shannon), 1916-2001 - daleki krewny Thomasa Edisona, amerykańskiego inżyniera i matematyka, był pracownikiem Bell Laboratories w latach 1941-1972. W swojej pracy „Mathematical Communication Theory” (http://cm.bell-labs.com /cm/ms / what / shannonday /), opublikowany w 1948 r., po raz pierwszy zdefiniował miarę zawartości informacyjnej dowolnej wiadomości oraz pojęcie kwantu informacji - bit. Idee te stały się podstawą teorii nowoczesnej komunikacji cyfrowej. Inna praca Shannona, Communication Theory of Secrecy Systems, opublikowana w 1949 roku, pomogła przekształcić kryptografię w dyscyplinę naukową. On jest założycielem teoria informacji, który znalazł zastosowanie w nowoczesnych, zaawansowanych technologicznie systemach komunikacyjnych. Shannon wniósł ogromny wkład w teorię schematów probabilistycznych, teorię automatów i teorię systemów sterowania - nauki, zjednoczone pojęciem „cybernetyki”. |
Fizyczna definicja entropii
Po raz pierwszy pojęcie entropii zostało wprowadzone przez Clausiusa w 1865 roku jako funkcja stanu termodynamicznego układu
gdzie Q to ciepło, T to temperatura.
Fizyczne znaczenie entropii pojawia się jako część wewnętrznej energii układu, której nie można przekuć w pracę. Clausius uzyskał tę funkcję empirycznie, eksperymentując z gazami.
L. Boltzmann (1872) metodami fizyki statystycznej wyprowadził teoretyczne wyrażenie entropii
gdzie K jest stałą; W to prawdopodobieństwo termodynamiczne (liczba permutacji idealnych cząsteczek gazu, które nie wpływają na makrostan układu).
Entropia Boltzmanna wywodzi się z gazu doskonałego i jest interpretowana jako miara nieporządku, miara chaosu systemu. Dla gazu doskonałego entropie Boltzmanna i Clausiusa są identyczne. Formuła Boltzmanna stała się tak sławna, że została wpisana jako epitafium na jego grobie. Uważa się, że entropia i chaos to jedno i to samo. Pomimo tego, że entropia opisuje tylko gazy doskonałe, zaczęto ją bezkrytycznie stosować do opisywania bardziej złożonych obiektów.
Sam Boltzmann w 1886 roku. próbował wyjaśnić za pomocą entropii, czym jest życie. Według Boltzmanna życie jest zjawiskiem, które może zmniejszyć jego entropię. Według Boltzmanna i jego zwolenników wszystkie procesy we Wszechświecie zmieniają się w kierunku chaosu. Wszechświat zmierza ku śmierci termicznej. Ta ponura prognoza od dawna dominuje w nauce. Jednak pogłębianie wiedzy o otaczającym nas świecie stopniowo burzyło ten dogmat.
Klasycy nie kojarzyli entropii z informacją.
Entropia jako miara informacji
Należy zauważyć, że pojęcie „informacji” jest często interpretowane jako „informacja”, a przekazywanie informacji odbywa się za pomocą komunikacji. K. Shannon rozważał entropię jako miarę użytecznej informacji w procesach przesyłania sygnału przewodami.
Aby obliczyć entropię, Shannon zaproponował równanie, które przypomina klasyczne wyrażenie na entropię znalezione przez Boltzmanna. Rozważane jest niezależne zdarzenie losowe x z N możliwymi stanami, a p i jest prawdopodobieństwem i-tego stanu. Wtedy entropia zdarzenia x
Ta wielkość nazywana jest również średnią entropią. Na przykład możemy mówić o przekazywaniu wiadomości w języku naturalnym. Przesyłając różne litery, przekazujemy różną ilość informacji. Ilość informacji w liście jest związana z częstotliwością używania tej litery we wszystkich wiadomościach generowanych w języku. Im rzadszy list przesyłamy, tym więcej zawiera informacji.
wielkość
H i = P i log 2 1 / P i = ‑P i log 2 P i,
nazywamy prywatną entropią, która charakteryzuje tylko stan i-e.
Wyjaśnijmy na przykładach... Gdy rzuca się monetą, wypada orł lub reszek, jest to pewna informacja o wyniku rzutu.
Dla monety liczba równoprawdopodobnych możliwości wynosi N = 2. Prawdopodobieństwo trafienia orła (reszki) wynosi 1/2.
Rzucając kostką otrzymujemy informację o wypadnięciu określonej liczby punktów (np. trzech). Kiedy otrzymamy więcej informacji?
W przypadku kostki liczba równie prawdopodobnych możliwości wynosi N = 6. Prawdopodobieństwo otrzymania trzech punktów wynosi 1/6. Entropia wynosi 2,58. Więcej informacji dostarcza realizacja mniej prawdopodobnego zdarzenia. Im większa niepewność przed otrzymaniem wiadomości o zdarzeniu (rzucanie monetą, kostką), tym więcej informacji otrzymuje się po otrzymaniu wiadomości.
Takie podejście do ilościowego wyrażania informacji nie jest uniwersalne, ponieważ przyjęte jednostki nie uwzględniają tak ważnych właściwości informacji, jak jej wartość i znaczenie. Wyabstrahowanie ze specyficznych właściwości informacji (znaczenia, jej wartości) o rzeczywistych obiektach, jak się później okazało, pozwoliło zidentyfikować ogólne wzorce informacji. Jednostki (bity) zaproponowane przez Shannona do pomiaru ilości informacji są odpowiednie do oceny dowolnych wiadomości (narodziny syna, wyniki meczu sportowego itp.). W przyszłości podjęto próby znalezienia takich miar ilości informacji, które uwzględniałyby ich wartość i znaczenie. Jednak uniwersalność została natychmiast utracona: dla różnych procesów kryteria wartości i znaczenia są różne. Ponadto definicje znaczenia i wartości informacji są subiektywne, a miara informacji zaproponowana przez Shannona jest obiektywna. Na przykład zapach niesie ze sobą ogromną ilość informacji dla zwierzęcia, ale jest nieuchwytny dla człowieka. Ludzkie ucho nie odbiera sygnałów ultradźwiękowych, ale niosą one wiele informacji dla delfina itp. Dlatego miara informacji zaproponowana przez Shannona nadaje się do badania wszelkiego rodzaju procesów informacyjnych, niezależnie od „smaków” informacji konsument.
Informacje o pomiarach
Z kursu fizyki wiesz, że przed zmierzeniem wartości dowolnej wielkości fizycznej musisz wprowadzić jednostkę miary. Informacja też ma taką jednostkę – trochę, ale jej znaczenie jest inne przy różnych podejściach do definicji pojęcia „informacja”.
Istnieje kilka różne podejścia do problemu pomiaru informacji.
co oznacza termin „entropia” z punktu widzenia teorii informacji? i otrzymałem najlepszą odpowiedź
Odpowiedź od MarZ [guru]
Entropia informacyjna, zdefiniowana przez Shannona i dodana przez innych fizyków, jest ściśle związana z koncepcją entropii termodynamicznej. Jest to wartość, która oznacza nieredukowalną (niemożliwą do kompresji) ilość informacji, zawartość w danym systemie (najczęściej w odbieranym sygnale).
W teorii informacji
Entropia w mechanice statystycznej jest ściśle powiązana z entropią informacyjną - miarą niepewności komunikatów, które opisuje zbiór symboli x_1, ldots, x_n oraz prawdopodobieństwa p_1, ldots, p_n pojawienia się tych symboli w komunikacie. W teorii informacji entropia komunikatu o dyskretnym rozkładzie prawdopodobieństwa jest wielkością
Sn = - ∑PkInPk,
k
gdzie
∑Pk = 1.
k
Entropia informacji wynosi zero, gdy dowolne prawdopodobieństwo jest równe jeden (a reszta wynosi zero), czyli gdy informacja jest całkowicie przewidywalna i nie wnosi nic nowego do odbiorcy. Entropia przyjmuje największą wartość dla rozkładu równoprawnego, gdy wszystkie prawdopodobieństwa pk są takie same; to znaczy, gdy niepewność, na którą pozwala komunikat, osiąga maksimum. Entropia informacyjna ma również wszystkie właściwości matematyczne, jakie posiada entropia termodynamiczna. Na przykład jest addytywny: entropia kilku wiadomości jest równa sumie entropii poszczególnych wiadomości.
Źródło: http://www.wikiznanie.ru/ru-wz/index.php/РнтропиС
Odpowiedz od Aleksander Zonov[guru]
Podobnie jak w termodynamice, entropia jest miarą nieporządku układu.
Odpowiedz od .
[aktywny]
Entropia (informacyjna) jest miarą losowości informacji, niepewności pojawienia się dowolnego symbolu alfabetu podstawowego. W przypadku braku utraty informacji jest liczbowo równa ilości informacji przypadającej na symbol przesyłanej wiadomości.
Odpowiedz od 3 odpowiedzi[guru]
Hej! Oto wybór tematów z odpowiedziami na twoje pytanie: co oznacza termin „entropia” w kontekście teorii informacji?
Pojęcie Entropia
po raz pierwszy wprowadzony w 1865 r. przez R. Clausiusa w termodynamice w celu określenia miary nieodwracalnego rozpraszania energii. Entropia jest używana w różnych gałęziach nauki, w tym w teorii informacji, jako miara niepewności eksperymentu, testu, który może mieć różne wyniki. Te definicje entropii są głęboko powiązane. Tak więc na podstawie idei dotyczących informacji można wyprowadzić wszystkie najważniejsze postanowienia fizyki statystycznej. [BĄDZ S. Fizyka. M: Wielka Encyklopedia Rosyjska, 1998].
Ta ilość jest również nazywana średnia entropia wiadomości. Entropia we wzorze Shannona to średnia charakterystyka - matematyczne oczekiwanie rozkładu zmiennej losowej.
Na przykład w sekwencji liter, które składają się na dowolne zdanie w języku rosyjskim, różne litery pojawiają się z różną częstotliwością, więc niepewność pojawienia się niektórych liter jest mniejsza niż dla innych.
W 1948 roku, badając problem racjonalnej transmisji informacji za pośrednictwem hałaśliwego kanału komunikacyjnego, Claude Shannon zaproponował rewolucyjne probabilistyczne podejście do rozumienia komunikacji i stworzył pierwszą prawdziwie matematyczną teorię entropii. Jego sensacyjne pomysły szybko stały się podstawą rozwoju teorii informacji wykorzystującej pojęcie prawdopodobieństwa. Pojęcie entropii jako miary losowości zostało wprowadzone przez Shannona w swoim artykule „A Mathematical Theory of Communication”, opublikowanym w dwóch częściach w Bell System Technical Journal w 1948 roku.
W przypadku zdarzeń równoprawdopodobnych (przypadek szczególny), gdy wszystkie opcje są jednakowo prawdopodobne, pozostaje tylko zależność od liczby rozważanych opcji, a formuła Shannona jest znacznie uproszczona i pokrywa się z formułą Hartleya, którą po raz pierwszy zaproponował amerykański inżynier Ralph Hartley w 1928 roku jako jedno z naukowych podejść do oceny wiadomości:
, gdzie I to ilość przesłanych informacji, p to prawdopodobieństwo zdarzenia, N to możliwa liczba różnych (równie prawdopodobnych) wiadomości.Zadanie 1. O wydarzeniach równie prawdopodobnych.
W talii jest 36 kart. Ile informacji zawiera komunikat, że karta z portretem „as” została zabrana z talii; As pik?
Prawdopodobieństwo p1 = 4/36 = 1/9 i p2 = 1/36. Korzystając ze wzoru Hartleya mamy:
Odpowiedź: 3,17; 5,17 bitów
Zauważ (z drugiego wyniku), że do zakodowania wszystkich kart potrzeba 6 bitów.
Z wyników jasno wynika również, że im mniej prawdopodobne jest zdarzenie, tym więcej zawiera w sobie informacji. (Ta właściwość nazywa się monotonia)
Zadanie 2. Na nierównych zdarzeniach
W talii jest 36 kart. Spośród nich 12 kart z „portretami”. Alternatywnie, jedna z kart jest wyjmowana z talii i pokazywana w celu ustalenia, czy jest na niej przedstawiony portret. Karta wraca do talii. Określ ilość informacji przesyłanych za każdym razem, gdy pokazana jest jedna karta.
1.4 Entropia źródła. Własności ilości informacji i entropii
Ilość informacji zawartych w jednym podstawowym komunikacie x ja nie charakteryzuje w pełni źródła. Źródło komunikatów dyskretnych można scharakteryzować przez: średnia ilość informacji na podstawową wiadomość , zwany entropią źródła
, i =1…k , (1.3)
gdzie k - wielkość alfabetu wiadomości.
Entropia jest więc średnią statystyczną miarą niepewności wiedzy odbiorcy o stanie obserwowanego obiektu.
W wyrażeniu (1.3) uśrednianie statystyczne (tj. określenie matematycznego oczekiwania dyskretnej zmiennej losowej i (Xi )) jest wykonywany na całym zbiorze wiadomości źródłowych. W takim przypadku konieczne jest uwzględnienie wszystkich powiązań probabilistycznych między komunikatami. Im wyższa entropia źródła, tym średnio więcej informacji umieszcza się w każdej wiadomości, tym trudniej jest ją zapamiętać (zapisać) lub przekazać taką wiadomość kanałem komunikacyjnym. Zatem istota entropii Shannona jest następująca: entropia dyskretnej zmiennej losowej to minimalna ze średniej liczby bitów, które muszą być przesłane kanałem komunikacyjnym o aktualnej wartości danej zmiennej losowej.
Wymagane zużycie energii na transmisję wiadomości jest proporcjonalne do entropii (średniej ilości informacji na wiadomość). Stąd wynika, że ilość informacji w ciągu od n wiadomości są określane przez liczbę tych wiadomości i entropię źródła, tj.
i (n)=NH(x) .
Entropia jako ilościowa miara zawartości informacyjnej źródła ma następujące cechy: nieruchomości:
1) entropia wynosi zero, jeśli przynajmniej jedna z wiadomości jest wiarygodna (tj. ma prawdopodobieństwo Liczba Pi = 1);
2) wartość entropii jest zawsze większa lub równa zero, ważna i ograniczona;
3) entropia źródła z dwoma alternatywnymi zdarzeniami może wynosić od 0 do 1;
4) entropia jest wielkością addytywną: entropia źródła, którego komunikaty składają się z komunikatów z kilku statystycznie niezależnych źródeł, jest równa sumie entropii tych źródeł;
5) entropia będzie maksymalna, jeśli wszystkie wiadomości są jednakowo prawdopodobne
. (1.4)
W przypadku nierównych wiadomości x i entropia maleje. W związku z tym wprowadza się miarę źródłową, taką jak redundancja statystyczna alfabetu źródłowego
, (1.5)
gdzie h (x ) - entropia źródła rzeczywistego; h (x ) maks= Dziennik 2 k Jest maksymalną osiągalną entropią źródła.
Redundancja źródła informacji określona wzorem (1.5) wskazuje na zapas informacyjny komunikatów, których elementy są nierówne.
Jest też koncepcja redundancja semantyczna , co wynika z faktu, że każdą myśl zawartą w komunikacie ze zdań ludzkiego języka można sformułować krócej. Uważa się, że jeśli jakikolwiek komunikat można skrócić bez utraty jego treści semantycznej, to ma on redundancję semantyczną.
Rozważ dyskretne zmienne losowe (d.v.) x oraz Y nadane przez prawa dystrybucyjne P (x = Xi )= Liczba Pi , P (Y = Y j )= q j i wspólna dystrybucja P (x = Xi , Y = Y j )= p ij ... Następnie ilość informacji zawartych w pliku z. v. X w stosunku do d. Od. v. Y , określa wzór
. (1.6)
Dla ciągłych zmiennych losowych (r.v.) x oraz Y dane przez gęstości rozkładu prawdopodobieństwa r x (T 1 ) , r Y (T 2 ) oraz r XY (T 1 , T 2 ) , podobna formuła ma postać
To oczywiste, że
W związku z tym
tych. dochodzimy do wyrażenia (1.3) do obliczenia entropii h (x ) .
Właściwości ilości informacji i entropii:
1) i (x , Y ) ≥ 0 ; i (x , Y ) =0 Û x oraz Y niezależna (jedna zmienna losowa nie opisuje drugiej);
2) i (X, Y ) =i(Tak, x ) ;
3) Hx =0 Û X = const ;
4)
i
(X, Y)
= HX + HY-H
(X, Y)
,
gdzie 
;
5) i (X, Y) ≤ I (X, X); Ja (X, Y) = Ja (X, X) Þ X = f (Y) .
PYTANIA KONTROLNE
1 Jakie są rodzaje informacji?
2 Jak zamienić ciągłą informację na postać dyskretną (cyfrową)?
3 Jaka jest częstotliwość próbkowania informacji ciągłych?
4 Jak sformułowane jest twierdzenie o dyskretyzacji?
5 Co to jest informacja, kodowanie, kanał komunikacji, szum?
6 Jakie są główne postanowienia probabilistycznego podejścia Shannona do określania ilości informacji?
7 W jaki sposób określana jest ilość informacji zawartych w jednej wiadomości ze źródła dyskretnego?
8 W jaki sposób ilość informacji na wiadomość jest określana na podstawie źródła współzależnych wiadomości?
9 Co to jest entropia źródła? Jakie są jego właściwości?
10 W jakich warunkach entropia źródła jest maksymalna?
11 Jak ustalana jest ilość informacji? Jakie właściwości ma ilość informacji?
12 Co spowodowało statystyczną redundancję źródła informacji?
1. Wstęp.
2. Co zmierzył Claude Shannon?
3. Granice ewolucyjnej zmienności systemów informatycznych.
4. Ograniczona adaptacja gatunków biologicznych.
5. Etapy rozwoju teorii entropii.
6. Metody obliczania ilości informacji strukturalnej i entropii informacyjnej tekstów.
7. Informacyjno-entropowe relacje procesów adaptacji i rozwoju.
8. Informacja i energia.
9. Wniosek.
10. Bibliografia.
WPROWADZANIE
W drugiej połowie XX wieku miały miejsce dwa wydarzenia, które naszym zdaniem w dużej mierze wyznaczają dalsze drogi naukowego rozumienia świata. Mówimy o stworzeniu teorii informacji i rozpoczęciu badań nad mechanizmami procesów antyentropii, do badania których synergetyka czerpie z najnowszych osiągnięć termodynamiki nierównowagi, teorii informacji i ogólnej teorii systemów.
Zasadnicza różnica między tym etapem rozwoju nauki a poprzednimi etapami polega na tym, że przed powstaniem wymienionych obszarów badań nauka potrafiła wyjaśnić jedynie mechanizmy procesów prowadzących do wzrostu chaosu i wzrostu entropii. Jeśli chodzi o koncepcje biologiczne i ewolucyjne rozwijane od czasów Lamarcka i Darwina, to wciąż nie mają ścisłych uzasadnień naukowych i są sprzeczne z II Zasadą Termodynamiki, zgodnie z którą niezbędnym prawem fizycznym jest towarzyszący wszelkim procesom na świecie wzrost entropii .
Zasługa termodynamiki nierównowagowej polega na tym, że była ona w stanie ujawnić mechanizmy procesów antyentropii, które nie są sprzeczne z II zasadą termodynamiki, ponieważ lokalny spadek entropii wewnątrz samoorganizującego się układu jest zawsze opłacany przez duży wzrost bezwzględnej wartości entropii środowiska zewnętrznego.
Najważniejszym krokiem w kierunku zrozumienia natury i mechanizmów procesów antyentropowych jest wprowadzenie ilościowej miary informacji. Początkowo środek ten był przeznaczony tylko do rozwiązywania czysto stosowanych problemów technologii komunikacyjnej. Jednak późniejsze badania z zakresu fizyki i biologii pozwoliły na zidentyfikowanie uniwersalnych środków zaproponowanych przez K. Shannona, pozwalających ustalić związek między ilością informacji a entropią fizyczną i ostatecznie określić istotę nowej interpretacji naukowej pojęcie „informacji” jako miary uporządkowania strukturalnego najbardziej zróżnicowanych w przyrodzie systemów…
Używając metafory, możemy powiedzieć, że przed wprowadzeniem do nauki pojedynczej informacyjnej miary ilościowej świat reprezentowany w koncepcjach przyrodniczych wydawał się „opierać na dwóch wielorybach”: energii i materii. „Trzeci wieloryb” to obecnie informacja, która uczestniczy we wszystkich procesach zachodzących na świecie, od mikrocząstek, atomów i molekuł po funkcjonowanie najbardziej złożonych systemów biologicznych i społecznych.
Naturalnie pojawia się pytanie: czy najnowsze dane współczesnej nauki potwierdzają, czy też zaprzeczają ewolucyjnemu paradygmatowi pochodzenia życia i gatunków biologicznych?
Aby odpowiedzieć na to pytanie, należy przede wszystkim zrozumieć, które właściwości i aspekty wieloaspektowego pojęcia „informacja” odzwierciedla miarę ilościową, którą K. Shannon wprowadził do nauki.
Wykorzystanie miary ilości informacji pozwala na analizę ogólnych mechanizmów oddziaływań informacyjno-entropowych, które leżą u podstaw wszelkich spontanicznie zachodzących w otaczającym świecie procesów gromadzenia informacji, które prowadzą do samoorganizacji struktury systemów.
Jednocześnie analiza informacyjno-entropijna umożliwia również identyfikację luk w koncepcjach ewolucyjnych, które są niczym innym, jak nieuzasadnionymi próbami sprowadzenia problemu pochodzenia życia i gatunków biologicznych do prostych mechanizmów samoorganizacji, bez uwzględniania brać pod uwagę fakt, że systemy o takim stopniu złożoności mogą być tworzone tylko na podstawie tej informacji, która została pierwotnie założona w planie poprzedzającym ich powstanie.
Badania właściwości systemów informatycznych prowadzone przez współczesną naukę dają wszelkie powody, by twierdzić, że wszystkie systemy mogą być utworzone tylko zgodnie z regułami zstępującymi z wyższych poziomów hierarchicznych, a same te reguły istniały przed samymi systemami w postaci wstępny plan (pomysł stworzenia).
CO MIERZYŁ CLAUDE SHENNON?
Teoria informacji opiera się na zaproponowanej przez C. Shannona metodzie obliczania ilości nowych (nieprzewidywalnych) i nadmiarowych (przewidywalnych) informacji zawartych w wiadomościach przesyłanych technicznymi kanałami komunikacyjnymi.
Zaproponowana przez Shannona metoda pomiaru ilości informacji okazała się na tyle uniwersalna, że jej zastosowanie nie ogranicza się już do wąskich ram zastosowań czysto technicznych.
Wbrew opinii samego Shannona, który przestrzegał naukowców przed pochopnym rozprzestrzenianiem się proponowanej przez niego metody poza stosowane problemy technologii komunikacyjnych, metoda ta zaczęła znajdować coraz szersze zastosowanie w badaniach systemów fizycznych, biologicznych i społecznych.
Kluczem do nowego zrozumienia istoty zjawiska informacji i mechanizmu procesów informacyjnych był związek między informacją a fizyczną entropią ustalony przez L. Brillouina. Związek ten został pierwotnie położony u podstaw teorii informacji, ponieważ Shannon zaproponował wykorzystanie prawdopodobnej funkcji entropii zapożyczonej z termodynamiki statystycznej do obliczenia ilości informacji.
Wielu uczonych (poczynając od samego Shannona) było skłonnych postrzegać takie zapożyczenia jako zabieg czysto formalny. L. Brillouin wykazał, że między ilością informacji a fizyczną entropią obliczoną według Shannona nie ma związku formalnego, lecz znaczące.
W fizyce statystycznej, wykorzystując probabilistyczną funkcję entropii, bada się procesy prowadzące do równowagi termodynamicznej, w której wszystkie stany cząsteczek (ich energie, prędkości) zbliżają się do siebie jako równoprawdopodobne, a entropia dąży do wartości maksymalnej.
Dzięki teorii informacji stało się oczywiste, że za pomocą tej samej funkcji można badać takie układy, które są dalekie od stanu maksymalnej entropii, jak np. tekst pisany.
Innym ważnym odkryciem jest to, że
wykorzystując probabilistyczną funkcję entropii można przeanalizować wszystkie etapy przejścia układu ze stanu całkowitego chaosu, który odpowiada równym wartościom prawdopodobieństw i maksymalnej wartości entropii, do stanu uporządkowania granicznego (sztywne wyznaczenie ), co odpowiada jedynemu możliwemu stanowi jego elementów.
Wniosek ten okazuje się równie słuszny dla takich systemów odmiennych w przyrodzie, jak gazy, kryształy, teksty pisane, organizmy biologiczne lub społeczności itp.
Co więcej, jeśli dla gazu lub kryształu przy obliczaniu entropii porównuje się tylko mikrostan (tzn. stan atomów i cząsteczek) i makrostan tych układów (tzn. gaz lub kryształ jako całość), to dla układów o inny charakter (biologiczny, intelektualny, społeczny), entropię można obliczyć na tym lub innym arbitralnie wybranym poziomie. W tym przypadku obliczona wartość entropii rozpatrywanego układu oraz ilość informacji charakteryzujących stopień uporządkowania tego układu i równa różnicy między maksymalną a rzeczywistą wartością entropii będzie zależeć od rozkładu prawdopodobieństwa stanów elementów dolnego poziomu, tj. te elementy, które w całości tworzą te systemy.
Innymi słowy,
ilość informacji przechowywanych w strukturze systemu jest proporcjonalna do stopnia odchylenia systemu od stanu równowagi ze względu na porządek zachowany w strukturze systemu.
Bez jego wiedzy Shannon uzbroił naukę w uniwersalną miarę, z zasady odpowiednią (pod warunkiem, że ujawnione zostaną wartości wszystkich prawdopodobieństw) do oceny stopnia uporządkowania wszystkich systemów istniejących na świecie.
Zdefiniowanie środka informacyjnego wprowadzonego przez Chenon as miara uporządkowania ruchu, można ustalić związek między informacją a energią, biorąc pod uwagę: energia jako miara natężenia ruchu... Ponadto ilość informacji przechowywanych w strukturze systemów jest proporcjonalna do całkowitej energii połączeń wewnętrznych tych systemów.
Równolegle z identyfikacją ogólnych właściwości informacji jako zjawiska ujawniają się również fundamentalne różnice związane z różnymi poziomami złożoności systemów informatycznych.
I tak na przykład wszystkie obiekty fizyczne, w przeciwieństwie do biologicznych, nie posiadają specjalnych organów pamięci, zapisu sygnałów pochodzących ze świata zewnętrznego, czy kanałów komunikacji informacyjnej. Zapisane w nich informacje są niejako „rozmazane” w całej ich strukturze. Jednocześnie, gdyby kryształy nie były w stanie przechowywać informacji w wiązaniach wewnętrznych, które decydują o ich uporządkowaniu, nie byłoby możliwości stworzenia sztucznej pamięci i urządzeń technicznych przeznaczonych do przetwarzania informacji w oparciu o struktury krystaliczne.
Jednocześnie należy pamiętać, że stworzenie takich urządzeń stało się możliwe tylko dzięki ludzkiemu umysłowi, który potrafił wykorzystać elementarne właściwości informacyjne kryształów do budowy złożonych systemów informatycznych.
Najprostszy system biologiczny przewyższa swoją złożonością najdoskonalszy system informacyjny stworzony przez człowieka. Już na poziomie najprostszych organizmów jednokomórkowych zaangażowany jest najbardziej złożony genetyczny mechanizm informacyjny niezbędny do ich rozmnażania. W organizmach wielokomórkowych oprócz systemu informacyjnego dziedziczności istnieją wyspecjalizowane narządy do przechowywania informacji i ich przetwarzania (na przykład systemy transkodujące sygnały wzrokowe i słuchowe pochodzące ze świata zewnętrznego przed wysłaniem ich do mózgu, systemy do ich przetwarzania sygnały w mózgu). Najbardziej złożona sieć komunikacji informacyjnej (układ nerwowy) przenika i przekształca w całość cały organizm wielokomórkowy.
Planowanie
