Informasjonsendring
I statistikk og sannsynsteori er informasjonsendring (òg kalla Kullback–Leibler divergens, informasjonsdivergens eller relativ entropi) eit ikkje-symmetrisk mål på forskjellen mellom to sannsynsfordelingar P og Q. Informasjonsendring gir forventinga av kor mange ekstra bits du treng for å kode utval frå P når du nyttar ein kode frå Q, heller enn ein kode frå P. Vanlegvis skal P representere den «sanne» datafordelinga, observasjonar, eller ei presist utrekna teoretisk fordeling. Q skal vanlegvis representere teorien, modellen, skildringa eller tilnærminga mot P.
Definisjon
[endre | endre wikiteksten]Der sannsynsfordelingane P og Q kjem frå ein diskret tilfeldig variabel definerer vi informasjonsendring av Q frå P som
Der utvala P og Q kjem frå ein kontinuerleg tilfeldig variabel må me ha integral i staden for sum:
kor p og q gir sannsynstettleiken til P og Q.
Logaritmane her har grunntal 2 om du måler informasjon i bit, grunntal e viss du måler i naturlege einingar. Dei fleste formlane held uavhengig av grunntal.