Як визначити нормальний розподіл
категорія Faq
Нормальний розподіл (воно ж розподіл Гаусса) носить граничний характер. До нього за певних умов сходяться всі інші розподілу. Тому і деякі характеристики нормальних випадкових величин бувають екстремальними. Це і буде застосовано при відповіді на питання.
1
Для відповіді на питання, чи є випадкова величина нормальної, можна залучити поняття ентропія Н (x), що виникає в теорії інформації. Справа в тому, що будь-який дискретне повідомлення, що формується з n символів X = {x ?, x ?, ... xn}, можна розуміти як дискретну випадкову величину, задану поруч ймовірностей. Якщо ймовірність використання символу, наприклад х? дорівнює Р ?, то така ж і ймовірність події X = х ?. З термінів теорії інформації візьмемо ще поняття кількості інформації (точніше власної інформації) I (xi) = log (1 / P (xi)) = - logP (xi). Для стислості запису покладіть Р (хi) = Рi. Логарифми тут беруться за основою 2. В конкретних виразах такі підстави не записуються. Звідси, до речі, і біт (binary digit) - біт.
2
Ентропія - це середня кількість власної інформації в одному значенні випадкової величини H (x) = M [-logPi] = -? Pi • logPi (підсумовування ведетcя по i від 1 до n). Нею володіють і безперервні розподілу. Щоб обчислити ентропію неперервної випадкової величини, уявіть її в дискретному вигляді. Розбийте ділянку області значень на малі інтервали? Х (крок квантування). В якості можливого значення візьміть середину відповідного? Х, а замість його ймовірності використовуйте елемент площі Pi? W (xi)? X. Ситуацію ілюструє рис. 1. На ньому, аж до дрібних подробиць, зображена крива Гауса, що є графічним представленням щільності ймовірності нормального розподілу. Тут же дана формула щільності ймовірності цього розподілу. Уважно розгляньте цю криву, порівняйте її з тими даними, які у вас є. Може, відповідь на питання вже прояснився? Якщо немає, варто продовжити.
3
Використовуйте методику, запропоновану на попередньому кроці. Складіть ряд ймовірностей тепер уже дискретної випадкової величини. Знайдіть її ентропію і граничним переходом при n-gt ;? (? X-gt; 0) поверніться до безперервного розподілу. Всі викладки представлені на рис. 2.
4
Можна довести, що нормальні (гаусові) розподілу мають максимальною ентропією в порівнянні з усіма іншими. Простим обчисленням по остаточній формулі попереднього кроку H (x) = M [-logw (x)], знайдіть цю ентропію. Чи не знадобиться ніяке інтегрування. Досить властивостей математичного очікування. Отримайте H (x) = log? (? Х? (2? E)) = log? (? Х) + log? (? (2? E))? Log? (? X) +2,045. Це можливий максимум. Тепер користуючись будь-якими даними, про наявний у вас розподілі (починаючи від простої статистичної сукупності) знайдіть його дисперсію Dx = (? X) ?. Підставите обчислену? X в вираз для максимальної ентропії. Обчисліть ентропію досліджуваної вами випадкової величини Н (x).
5
Складіть відношення H (x) / Hmax (x) = ?. Самостійно виберіть ймовірність ??, яку можна вважати практично дорівнює одиниці при ухваленні рішення про близькість наявного у вас розподілу і нормального. Назвіть її, скажімо, ймовірністю правдоподібності. Рекомендуються значення більші, ніж 0,95. Якщо вийшло, що? Gt; ??, то ви (з ймовірністю не менше ??) маєте справу з розподілом Гаусса.