ентропія в теорії інформації

Міра невизначеності деякого досліду (випробовування), який залежно від обставин може закінчуватися з різними результатами. Припускається, що є певні ймовірності появи того чи іншого результату.