Das Video kommt von YouTube: erst beim Abspielen verbindet sich die Seite mit YouTube (Google).
Information und Entropie einer Quelle | Informationstheorie
Das Wichtigste aus dem Video
Transkriptautomatisch erstellt · 48 Zeilen
- ja hallo und herzlich willkommen wieder zu neuen video im heutigen video geht es um die information und die entropie einer quelle die beiden definitionen
- sind in dem bereich der informationstheorie einzuordnen wie jetzt hier kurz zu kurz zu beginn ihr seht ich habe jetzt hier schon die
- sachen berechnet steht daran dass die aufnahme anscheinend eben nicht funktioniert hat wir werden das kann jetzt aber nochmal durch sprechen da die
- rechnung sehr banal sind ich werde nicht noch mal alles abschreiben aber wir fangen jetzt einfach direkt an und zwar fange mit der
- information an die informationen in einem elementarereignisse großes gleich xi ist etwas so mathematisch formuliert einfach mal das folgendermaßen definiert
- dass die informationen die wtcc bezeichnet voll diesem elementarereignisse ist der rigorismus dual ist von 1 durch die
- wahrscheinlichkeit des entsprechenden ereignisses das kann man auch über logarithmische gesetze umschreiben indem man dieses 1 durch zu einem hoch - 1
- macht also p von ixiaro -1 und dann kaufen die prozent auch nach vorne zehn da vorne ziehen und hat man einfach - logarithmisch 2 von p e von xi
- die einheit ist bittmann was auch ganz wichtig ist die information ist immer größer gleich null weil wir haben eine wahrscheinlichkeit um die
- wahrscheinlichkeit ist immer zwischen 0 und 1 und dts hd logo rhythmus haben wir immer einen kleineren wert oder genau den wert 1 und damit haben wir halt
- entweder hier null raus oder was negatives und damit wird das ganze immer positiv ja jetzt hier ein kleines beispiel was haben wir also jetzt hier
- für elementar ereignis des emmentalischen es jetzt einmal gegeben dass wir die einzelnen ereignisse 1 2 und 3 erreichen können und diese
- ereignisse erreichen wir eben mit den folgenden wahrscheinlichkeiten mir eins mit der wahrscheinlichkeit ein halb zwei mit der wahrscheinlichkeit innviertel
- und drei auch mit der wahrscheinlichkeit ein drittel ja wie man schon an der definition hier oben sieht man kann die information immer nur für ein bestimmtes
- ereignis berechnen das heißt was wir jetzt hier nur bereichern können ist dreimal die informationen von jedem ereignisse also
- einmal das heißt einmal ii von x1 in die phonix dass ereignisse 12 12 die für nächstes 13 um das ganze macht man einfach indem man eine zier die
- wahrscheinlichkeiten einsetzt das heißt wir haben hier einmal - logo rhytmus 2 von eineinhalb wenn man das aus rechnet kommt ein bit raus weil man kann den
- rhythmus duales von 2 ist 1 dh wir können auch wieder diese einhalb zudem hoch - 1 und schreiben die -1 vorziehen und dann kehrt sich das minus wieder
- wichtig ist hier die einheit dass man die noch dazu schreibt das ganze kann man verhältnis 2 und 3 machen da die hier die gleiche wahrscheinlichkeit
- haben haben sie auch die gleiche information das heißt wir haben einfach - madrid muss zwei von einem viertel ist gleich
- zwei bitte und das gleiche bei von 3 ja jetzt kommen jetzt entropie einer quelle im prinzip ist das ja eine weitere definition für die man die information
- aber bereits benötigt das heißt entweder man muss sie sich vorher einzeln ausrechnen oder man rechnet halt direkt die entropie aus aber das gibt die
- entropie einer quelle erst mal an allgemein ist kann man es so zu sich das so vorstellen das ist einfach die mittlere informationen pro symbolisch
- das heißt wenn wir jetzt hier noch mehrere symbole hätten dann ist ja können wir uns fragen wie viele informationen haben wir eigentlich pro
- symbol jetzt 20 symbole haben die sind alle haben jetzt alle eine andere information wie ist dann unsere nicht der mittelwert
- dieser informationen die wir dann pro symbol pro ereignis ist jetzt hier gleich bedeutend haben und definiert wir das ganze einfach über h von iks und
- weil wir hier in ermittlungen haben summieren wir im prinzip alle informationen auf mit der gewichtung der wahrscheinlichkeit
- das heißt wir haben die summe von der wahrscheinlichkeit der das symbol das ereignis auftritt mal die information die dieses ereignis gesetzt dann kann
- man jetzt die informationen hier von hier oben nochmal einsetzen kriegt noch hier diese weitere summe raus also mit dem - und dann hat
- man hier nur noch die wahrscheinlichkeit des ereignisses in der summe drin stehen ganz wichtig ist hier dass ich die einheit zu bild zu bild pro symbol wird
- weil wir hier ermittelt haben das heißt das ganze ist im mittel pro symbol die anzahl an bezahlt auch hier bleibt das ganze trotzdem größer gleich null da die
- informationen ja größer null war und wer hier dann wieder das gleiche wie oben haben p von xi ist wieder zwischen 0 1 1 damit dass das hier wieder negativ die
- wahrscheinlichkeit ist immer größer null und damit wird das ganze positiv ja die entropie wird einer quelle wird genau dann maximal falls alle symbole gleich
- wahrscheinlich sind dh für p von xi gilt dann gleich 1 durch nnn die anzahl der symbole ist jetzt in unserem beispiel wäre n3 jetzt nicht die zahl drei
- sondern drei symbole und definiert ist das ganze indem man einfach dann jetzt hier einsetzen sagt hugues von iks oft auch als 1 0 bezeichnet ist dann im
- prinzip wenn jetzt erstmal den hinteren term hang gucken hätten wir für jedes symbol weil ihr alle gleich wahrscheinlich sind das heißt s p von xs
- für alle gleich en hier drin stehen ist das wäre mir einzig in dem logo rhytmus davor 1 durch m da wir das ganze dann einmal summieren
- und alle and therme gleich sind können wir das ganze mit einem multiplizieren das heißt hier dieses kürzlich hier direkt was wir dann halt noch hamm ist
- wieder diese logik muss den können wir wieder das einzig in zu einem 1 0 - 1 - 1 wieder vorziehen umschreiben und das ergebnis ist dann logarithmisch 2 von
- ende jetzt hier im beispiel wieder das gleiche beispiel wie hier oben da werden jetzt einfach die darstellung weil wir schon die informationen jetzt
- eben berechnet haben und da ist denn die entropie einer quelle von nix ist dann ein halb dass die wahrscheinlichkeit mal die information plus ein viertel mal die
- information und dann habe ich jetzt hier nochmal zwei geschrieben weil wir halt zwei und drei die genau die gleiche information haben ist es in dem fall
- kann man das ganze leben vereinfachen dem man mal zweiter vor ja da sehen wir die konten halt raus hier kommt eins raus gibt zusammen drei
- halbe und da es halt wichtig dass wir jetzt bit pro symbol sind wenn wir jetzt noch die maximale entropie mal auf unser beispiel
- ausrechnen wollen dann ist bei uns drei und deswegen geben wir einfach eine logarithmisch duo alles von 3s 1585 ich hab das eben gerundet was hier noch mal
- ein gibt dass der genaue wert falls euch interessiert und das ganze ist auch bitter symbol dann natürlich ich hoffe die beiden themen sind klar
- ist im prinzip der definitionssache man möchte die halt oft berechnen im bereich der informationstheorie und falls es trotzdem fragen gibt schreibt
- gerne einen kommentar und dann bedanke ich mich fürs zu sehen und bis zum nächsten video