Имитационные методы оценки мощности статистических тестов
При проверке статистических гипотез часто бывает недостаточно оценить риск ошибки первого рода α. Важно также определить вероятность β ошибки второго рода или мощность (1 - β) используемого теста при фиксированном уровне значимости αk и конкретных условиях и допущениях при проведении опыта. Научно обоснованное планирование исследований предполагает также построение функций мощности в зависимости от различных планов проведения эксперимента, в первую очередь, необходимого объема выборки и возможной величины тестируемого эффекта. Для реализации этого часто используют имитационные процедуры.
Анализ мощности с использованием имитаций предполагает выполнение следующих шагов:1. Задаются предполагаемые параметры распределений случайных величин, наблюдение за которыми осуществляется в ходе эксперимента (средние, стандартные отклонения и др.).
2. Если оценивается мощность обнаружения эффекта с использованием статистической модели, то задаются также значения параметров этой модели (коэффициенты и отклонения для остатков).
3. Выбирается алгоритм проверки нулевой гипотезы относительно обнаруживаемого эффекта - это может быть любой статистический тест, математическое правило или коэффициент модели, значимость которых можно оценить, рассчитав р-значение.
4. Алгоритм из п. 3 реализуется для произвольной случайной выборки из распределений с параметрами, заданными в п. 1.
5. П. 4 выполняется многократно (например, 10000 раз) и формируется вектор р-значений.
6. Оценивается мощность обнаружения эффекта как доля р-значений от их общего числа, которые не превысили критическую величину αk.
В сообщении рассматриваются варианты постронения имитационных процедур для анализа мощности различных тестов и моделей, куда вошли:
- параметрические и непараметрические тесты для оценки сдвига распределений;
- модель однофакторного дисперсионного анализа;
- различные формы линейной регрессии с включением непрерывных независимых переменных и фиксированных факторов;
- модели со смешанными параметрами (с использованием пакета simr).
Дополнения к работе В. К. Шитикова «Имитационные методы оценки мощности статистических тестов» https://stok1946.blogspot.com//
ОтветитьУдалитьПомнится, ещё переводчики книг по математической статистике Ю. П. Адлер и В. Г. Горский сопровождали свои переводы своими чрезвычайно содержательными комментариями (см. например, [1]). Д-р б. н. Шитиков В. К. - переводчик книги Максима Эрве «ПУТЕВОДИТЕЛЬ ПО ПРИМЕНЕНИЮ СТАТИСТИЧЕСКИХ МЕТОДОВ С ИСПОЛЬЗОВАНИЕМ R: планирование исследований и анализ результатов в биологии с помощью программного обеспечения R» пошёл ещё дальше: в дополнение к содержательным комментариям он снабдил перевод многочисленными скриптами, делающими процесс изучения книги М. Эрве не только познавательным, но и практичным.
1. Основы теории проверки статистических гипотез заложены Нейманом и Пирсоном [2]. Большинство аспектов этой теории изложены Э. Леманом [3]. Популярное изложение равномерно наиболее мощных параметрических критериев проверки гипотез относительно параметров нормально распределённых случайных величин с многочисленными примерами изложены в работах [4, 5, 6].
2. Графики кривых мощности критерия (1-*) в случаях простых право- и левосторонней альтернатив в разделе 1.1.4. «Мощность критерия» в книге [4] и на Рис. 3. в статье [6] и приведены в разделе 10.2.1. «Мощность» в книге [7].
3. Автор правильно указывает на малую эффективность использования параметрического t-критерия для проверки гипотезы сдвига в случае асимметричных распределений случайных величин. Действительно, прежде, чем приступать к использованию t-критерия необходимо попытаться осуществить нормализующее преобразование логнормального (или иного асимметричного) распределения – в нормальное (см., например, раздел 2.1.1. «Выбор нормализующего преобразования» в книге [4]). Тогда функция мощности параметрического t-критерия будет равномерно наиболее высокой.
С другой стороны, если нормализующее преобразование не приводит к нормальному распределению случайной величины, то мы вынуждены использовать численные методы.
4. Использование Сети интернет создаёт большие удобства для читателя: определение любого термина можно мгновенно найти и уточнить с помощью «поисковых машин», любую ссылку немедленно открыть. Например, заголовок «оценка мощности статистического критерия» дал более чем 310 тысяч ссылок!
Дополнительная литература
[1] Дрейпер H., Смит Г. Прикладной регрессионный анализ. - M.: Статистика, 1973. - 392 с. Изд. 2. Кн. 1. 1986.- 366 с.; Кн. 2. 1987.- 352 с. - M.: Финансы и статистика. Перевод с английского Ю. П. Адлера и В. Г. Горского. (Блестящее и обстоятельное изложение проблем теории и практики. Доступна всем слоям учёного сообщества).
[2] Neуman J., Peаrson E. S. On the use and interpretation of certain test criteria // Biometrika, 1928, Vol. 20A, р. 175-240, 263-294; On the problem of the most efficient tуре of statistical hypotheses// Phil. Trans. Roy. Soc., Ser. A., 1933, Vol. 231, р. 289-337.
[3] Леман Э. Проверка статистических гипотез./ Пер. с англ.– М.: Наука, 1964. – 498 с.
[4] Цейтлин Н. А. Из опыта аналитического статистика. - М.: Солар, 2007. - 906 с. (препринт http://matstat. gmxhome. de/ и www.cubematrix.com/oldsite/anlagen/as.pdf).
[5] Горбач А. Н., Цейтлин Н. А. Покупательское поведение: анализ спонтанных последовательностей и регрессионных моделей в маркетинговых исследованиях. - Киев: Освіта України, 2011. - 298 с. http://www.cubematrix.com/oldsite/anlagen/asp.pdf
[6] Цейтлин Н. А. Проблемы проверки статистических гипотез. (Dr. Tseitlin N. Der Probleme der statistischen Hypothesentests. - CuBe Matrix, Inh. A. Gorbach; Hamburg – 2015. - 32 с.) http://biometrica.tomsk.ru/A-metod-HPI-2.pdf
[7] Идье В. и др. Статистические методы в экспериментальной физике. / Пер. с англ. под ред. А. А. Тяпкина. - M.: Атомиздат, 1976. – 335 с.