Forholdet mellem den forventede længde af kodeord og entropien af ​​en stokastisk variabel i variabel længde kodning er et grundlæggende begreb i informationsteori. For at forstå dette forhold er det vigtigt først at forstå begrebet entropi og dets betydning i klassisk entropi. Entropi, i sammenhæng med klassisk