Как посчитать p value в excel

Обновлено: 05.07.2024

Функция ПИ в Excel, как несложно догадаться, предназначена для вставки числа ПИ на страницу. Значение числа ПИ (3,141592654) вставляется в ячейку с функцией.

Одна из простейших математических функций в Excel, предназначенная для получения известного числа «Пи». Функция ПИ возвращает число с точностью 15-ть знаков после запятой, поэтому если Вам нужна меньшая точность, то используйте настройки формата ячеек Excel, а вот если нужно больше знаков, то ничего не получится.

Формула для получения числа ПИ не имеет никаких настроек, а также не принимает аргументов. Обобщённый синтаксис функции выглядит следующим образом: ПИ()

Функция возвращает следующее значение: 3,141592653589790

Обратите внимание, что по умолчанию в Excel в ячейках применяется формат «Общий», поэтому число символов после запятой будет меньше. Если нужно больше, то поменяйте формат на «Числовой» и установите нужное число знаков после запятой (но более 15-ти всё равно смысла не имеет).

Использование функции ПИ

Допустим, нам нужно вычислить площадь круга. В таком случае составная формула будет такой, как в примере. Сам пример Вы можете скачать после статьи (файл формата Excel) и посмотреть как именно используется ПИ на практике (всё очень просто).

Также Вы можете дополнительно прочитать стандартную справку Excel по рассмотренной формуле (смотрите PDF документ после статьи).

Смотреть видеоФункция ПИ в Excel

Вы можете скачать прикреплённые ниже файлы для ознакомления. Обычно здесь размещаются различные документы, а также другие файлы, имеющие непосредственное отношение к данной публикации.

Авторы публикации

Артём В. Меньщиков

Excel P-Value (Содержание)

  • P-значение в Excel
  • Как рассчитать P-значение в Excel?

P-значение в Excel

Нулевая гипотеза:

Как рассчитать P-значение в Excel?

Давайте разберемся, как рассчитать P-Value в Excel, используя несколько примеров.

В этом примере мы рассчитаем P-значение в Excel для заданных данных.

  • Что касается скриншота, мы можем видеть ниже, мы собрали данные некоторых игроков в крикет против прогонов, которые они сделали в определенной серии.
  • Теперь, для этого нам нужен еще один хвост, мы должны получить ожидаемые пробеги, которые должен был забить каждый игрок с битой.
  • Для столбца ожидаемых пробегов мы найдем средние пробеги для каждого игрока, разделив нашу сумму подсчетов на сумму пробегов следующим образом.
  • Здесь мы нашли ожидаемое значение, разделив нашу сумму отсчетов на сумму прогонов. В основном средний и в нашем случае это 63, 57 .
  • Как видно из таблицы, мы добавили столбец для ожидаемых прогонов, перетащив формулу, использованную в ячейке C3.

Теперь, чтобы найти P-значение для этого конкретного выражения, формулой для этого является TDIST (x, deg_freedom, tails).

  • х = диапазон наших данных, которые запускаются
  • deg_freedom = диапазон данных наших ожидаемых значений.
  • tails = 2, так как мы хотим получить ответ для двух хвостов.
  • На изображении выше мы видим, что полученные результаты составляют почти 0.
  • Таким образом, для этого примера мы можем сказать, что у нас есть веские доказательства в пользу нулевой гипотезы.
  • Здесь для давайте предположим некоторые значения, чтобы определить поддержку против квалификации доказательств.
  • Для нашей формулы = TDIST (x, deg_freedom, tails).
  • Здесь, если мы возьмем x = t (тестовая статистика), deg_freedom = n, tail = 1 или 2.
  • Здесь, как мы можем видеть результаты, если мы видим в процентах, это 27, 2%.

Точно так же вы можете найти P-значения для этого метода, когда предоставляются значения x, n и tails.

Здесь мы увидим, как рассчитать P-значение в Excel для корреляции.

= t.dist.2t (т, степень_свободы)

  • Таким образом, P-значение, которое мы нашли для данной корреляции, составляет 0, 1411.
  • С помощью этого метода мы можем найти P-значение из корреляции, но после нахождения корреляции мы должны найти t и затем после того, как мы сможем найти P-значение.

A / B тестирование:

Тест: 1 Ожидаемые данные :

Всего посетителей: 5000

Тест: 2 Наблюдаемые данные :

Всего посетителей: 7000

Что нужно помнить о P-Value в Excel

Рекомендуемые статьи

Рассмотрим использование MS EXCEL при проверке статистических гипотез о среднем значении распределения в случае известной дисперсии. Вычислим тестовую статистику Z 0 , рассмотрим процедуру «одновыборочный z-тест», вычислим Р-значение (Р- value ).

Проверка гипотез (Hypothesis testing) тесно связана с построением доверительных интервалов . При первом знакомстве с процедурой проверки гипотез рекомендуется начать с изучения построения соответствующего доверительного интервала .

СОВЕТ : Для проверки гипотез нам потребуется знание следующих понятий:

Формулировка задачи. Из генеральной совокупности имеющей нормальное распределение с неизвестным μ и известной дисперсией σ 2 взята выборка размера n. Необходимо проверить статистическую гипотезу о равенстве неизвестного μ заданному значению μ 0 (англ. Inference on the mean of a population, variance known).

Примечание : Требование о нормальности исходного распределения, из которого берется выборка , не является строгим. Н 0 , необходимо, чтобы были выполнены условия применения Центральной предельной теоремы .

Статистическая гипотеза – это некое утверждение о неизвестных параметрах распределения. Процедура проверки гипотез зависит от оцениваемого параметра распределения и условий задачи. Сначала рассмотрим общий подход при проверке гипотез , затем рассмотрим конкретный пример.

Обычно формулируют 2 гипотезы: нулевую Н 0 и альтернативную Н 1 . В нашем случае нулевой гипотезой будет равенство μ и μ 0 , а альтернативной гипотезой – их отличие. Нулевая гипотеза отвергается только в том случае, если на это достаточно оснований. В этом случае принимается альтернативная гипотеза .

Чтобы понять, достаточно ли у нас оснований для отклонения нулевой гипотезы , из распределения делают выборка.

Сначала проведем проверку гипотезы , используя доверительный интервал , а затем с помощью вышеуказанной процедуры z-тест . В конце вычислим Р-значение и также используем его для проверки гипотезы .

Итак, нулевая гипотеза Н 0 утверждает, что неизвестное среднее значение распределения μ равно μ 0 . Соответствующая альтернативная гипотеза Н 1 утверждает обратное: μ не равно μ 0 . Это пример двусторонней проверки , т.к. неизвестное значение может быть как больше, так и меньше μ 0 .

Если упрощенно, то проверка гипотезы заключается в сравнении 2-х величин: вычисленного на основании выборки среднего значения Х ср и заданного μ 0 . Если эти значения «отличаются больше, чем можно было бы ожидать исходя из случайности», то нулевую гипотезу отклоняют.

Поясним фразу «отличаются больше, чем можно было бы ожидать исходя из случайности». Для этого, вспомним, что распределение Выборочного среднего (статистика Х ср ) стремится к нормальному распределению со средним значением μ и стандартным отклонением равным σ/√n, где σ – стандартное отклонение распределения , из которого берется выборка (не обязательно нормальное ), а n – объем выборки (подробнее см. статью про ЦПТ ). В нашем случае стандартное отклонение σ известно.

В задачах проверки гипотез также задается уровень доверия (вероятность), который определяет порог между утверждением «мало вероятно» и «вполне вероятно» или «может быть обусловлено случайностью» и «не может быть обусловлено случайностью». Обычно используют значения уровня доверия 90%; 95%; 99%, реже 99,9% и т.д.

Примечание : Уровень доверия равен (1-α) , где α – уровень значимости . И наоборот, α=( 1-уровень доверия ) .

Таким образом, знание распределения статистики Х ср и заданного уровня доверия , позволяют нам формализовать с помощью математических выражений фразу «отличаются больше, чем можно было бы ожидать исходя из случайности». В этом нам поможет доверительный интервал (как строится доверительный интервал нам известно из этой статьи ).

Если среднее выборки попадает в доверительный интервал, построенный относительно μ 0 , то для отклонения нулевой гипотезы оснований нет.

Для визуализации процедуры проверки гипотез в файле примера на листе Сигма известна создана диаграмма .


Если μ 0 не попадает в доверительный интервал, то нулевая гипотеза отклоняется.


Теперь рассмотрим проверку гипотез с помощью процедуры z -тест .

Z-тест

Кроме доверительного интервала для проверки гипотез существует также и другой эквивалентный подход - z -тест:

  • На основе выборки вычисляют тестовую статистику . Выбор тестовой статистики делают в зависимости от оцениваемого параметра распределения и условий задачи. В нашем случае тестовой статистикой является случайная величина z= , где – среднее выборки (обозначим Х ср ). Значение, которое приняла z-статистика , обычно обозначают Z 0 ;
  • z-статистика , как и любая другая случайная величина, имеет свое распределение. В процедуре проверки гипотез это распределение называют « эталонным распределением », англ. Reference distribution. В нашем случае тестовая статистика имеет стандартное нормальное распределение ;
  • Также исследователь устанавливает требуемый уровень значимости – это допустимая для данной задачи ошибка первого рода , т.е. вероятность отклонить нулевую гипотезу , когда она верна ( уровень значимости обозначают буквой α и чаще всего выбирают равным 0,1; 0,05 или 0,01);
  • С помощью эталонного распределения для заданного уровня значимости вычисляют соответствующие квантили этого распределения . В нашем случае, при проверке двухсторонней гипотезы , необходимо будет вычислить верхний α/2-квантиль стандартногонормального распределения, т.е. такое значение случайной величины z, что P(z>=Z α/2 )=α/2 ;
  • И наконец, значение тестовой статистики Z 0 сравнивают с вычисленными на предыдущем шаге квантилями и делают статистический вывод : Имеются ли основания, чтобы отвергнуть нулевую гипотезу ? В нашем случае проверки двусторонней гипотезы, Н 0 отвергается если: |Z 0 |>Z α/2 .

Примечание : Подробнее про квантили распределения можно прочитать в статье Квантили распределений MS EXCEL .

В MS EXCEL верхний α /2-квантиль стандартного нормального распределения вычисляется по формуле =НОРМ.СТ.ОБР(1-α/2)

Учитывая симметричность стандартного нормального распределения относительно оси ординат, верхний α /2-квантиль равен обычному α /2-квантилю со знаком минус: =-НОРМ.СТ.ОБР(α/2)

Примечание : Еще раз подчеркнем связь процедуры z -теста с построением доверительного интервала . Т.к. z -статистика распределена по стандартному нормальному закону, то можно ожидать, что 1-α значений z -статистики будет попадать в интервал между -Z α/2 и Z α/2 . Например, для уровня доверия 95% в интервал между -1,960 и 1,960 будет попадать примерно 95% значений Z 0 , вычисленных на основе выборки . Если Z 0 не попало в указанный интервал, то это считается маловероятным событием и нулевая гипотеза отвергается.

В случае односторонней гипотезы речь идет об отклонении μ только в одну сторону: либо больше либо меньше μ 0 . Если альтернативная гипотеза звучит как μ>μ 0 , то гипотеза Н 0 отвергается в случае Z 0 > Z α . Если альтернативная гипотеза звучит как μ μ 0 .

Напомним, что если Н 1 утверждает, что μ>μ 0 , то односторонняя гипотеза Н 0 отвергается в случае если Z 0 > Z α . Эти значения z -статистики имеют размерность анализируемой случайной величины, но их трудно интерпретировать. Преобразуем неравенство Z 0 > Z α так, чтобы его можно было проще интерпретировать.

Напомним, что Z α – это положительная величина и она равна верхнему α -квантилю стандартного нормального распределения (такому значению случайной величины z, что P(z>=Z α )=α). Неравенство Z 0 > Z α означает, что если Z 0 , вычисленное на основе выборки , будет слишком велико, т.е. больше Z α , то эта ситуация считается маловероятным событием и появляется основание для отклонения нулевой гипотезы .

Поэтому, логично вычислить вероятность события, что z -статистика примет значение z>=Z 0 и сравнить ее с вероятностью, что z=>Z α . Вероятность события z=>Z α (по определению верхнего квантиля ) – это просто α. Вероятность события, что z -статистика примет значение z>=Z 0 равна 1-Ф(Z 0 ), где Ф(z) – интегральная функция стандартного нормального распределения . В MS EXCEL эта функция вычисляется по формуле =1-НОРМ.СТ.РАСП(Z 0 ;ИСТИНА)

Примечание : В MS EXCEL для вычисления p-значения имеется специальная функция Z.TEСT() , которая эквивалентна выражению =1-НОРМ.СТ.РАСП(Z 0 ;ИСТИНА) . Про функцию Z.TEСT() см. ниже .

Таким образом, неравенство Z 0 > Z α эквивалентно неравенству P(z>= Z 0 ) =НОРМ.СТ.РАСП(Z 0 ;ИСТИНА) . Соответственно, p-значение для односторонней гипотезы μ =1-Z.TEСT( выборка ; μ 0 ; σ) , где выборка – ссылка на диапазон, содержащий значения выборки .

В случае двусторонней гипотезы, p -значение вычисляется по формуле =2*(1-Ф(|Z 0 |)).

В качестве примера проверим гипотезу Н 0 : μ=μ 0 , при этом альтернативная односторонняя гипотеза Н 1 : μ Z 0 =(1,851-2,3)/(2/КОРЕНЬ(60))=-1,739 p-значение =НОРМ.СТ.РАСП(-1,739;ИСТИНА)=0,04 Нулевая гипотеза отклоняется, т.к. 0,04 файле примера : во всех случаях, когда z-тест дает заключение о необходимости отклонить нулевую гипотезу , Х ср не попадает в соответствующий доверительный интервал, а p -значение меньше уровня значимости.


Функция Z.ТЕСТ()

MS EXCEL для процедуры z-тест существует специальная функция Z.ТЕСТ() , которая на самом деле вычисляет p-значение в случае односторонней альтернативной гипотезы μ0 : =Z.TEСT( выборка ; μ 0 ; σ) , где выборка – ссылка на диапазон, содержащий n значений выборки, σ – известное стандартное отклонение распределения, из которого делается выборка .

Функция Z.ТЕСТ() эквивалентна формуле =1- НОРМ.СТ.РАСП((СРЗНАЧ( выборка )- μ 0 ) / (σ/√n);ИСТИНА)

Выражение (СРЗНАЧ( выборка )- μ 0 ) / (σ/√n) – это значение тестовой статистики , т.е. Z 0 .

Эту же функцию можно использовать для вычисления p -значения в случае проверки двусторонней гипотезы , записав формулу: =2 * МИН(Z.TEСT( выборка ; μ 0 ; σ); 1 - Z.TEСT( выборка ; μ 0 ; σ)

Для вычисления p -значения в случае односторонней альтернативной гипотезы μ =1-Z.TEСT( выборка ; μ 0 ; σ)

σ - третий аргумент функции Z.ТЕСТ() должен быть всегда указан, т.к. это соответствует вышерассмотренной процедуре z-теста .

Теория позади п-значения и нулевая гипотеза на первый взгляд могут показаться сложными, но понимание концепций поможет вам ориентироваться в мире статистики. К сожалению, в научно-популярной науке эти термины часто неправильно используются, поэтому всем было бы полезно понять основы.

Расчет п-значение модели и доказательство / опровержение нулевой гипотезы удивительно просто с MS Excel. Есть два способа сделать это, и мы рассмотрим оба из них. Давайте копаться в.

Нулевая гипотеза и п-Ценность

Например, скажем, вы хотите наблюдать, имеет ли конкретная причудливая диета значительные результаты. В данном случае нулевая гипотеза состоит в том, что нет существенной разницы в весе испытуемых до и после диеты. Альтернативная гипотеза состоит в том, что диета имела значение. Это то, что исследователи будут пытаться доказать.

п-значение представляет вероятность того, что статистическая сводка будет равна или больше наблюдаемого значения, когда нулевая гипотеза верна для определенной статистической модели. Хотя это часто выражается в виде десятичного числа, как правило, лучше выражать его в процентах. Например, п-значение 0,1 должно быть представлено как 10%.

Низкий п-значение означает, что доказательства против нулевой гипотезы являются сильными. Это также означает, что ваши данные значимы. С другой стороны, высокий п-значение означает, что нет убедительных доказательств против этой гипотезы. Чтобы доказать, что причудливая диета работает, исследователи должны найти низкий п-ценность.

Статистически значимым результатом является тот, который вряд ли произойдет, если нулевая гипотеза верна. Уровень значимости обозначается греческой буквой альфа и должен быть больше, чем п-значение для результата быть статистически значимым.

Многие исследователи в самых разных областях используют п-значение, чтобы получить лучшее и более глубокое понимание данных, с которыми они работают. Некоторые из известных областей включают социологию, уголовное правосудие, психологию, финансы и экономику.

Нахождение п-Значение в Excel

Вы можете найти п-значение набора данных в MS Excel с помощью функции T-Test или с помощью инструмента анализа данных. Сначала рассмотрим функцию T-Test. Мы рассмотрим пять студентов колледжа, которые придерживались 30-дневной диеты. Мы сравним их вес до и после диеты.

ПРИМЕЧАНИЕ. Для целей этой статьи мы будем использовать MS Excel 2010. Хотя это и не самая последняя версия, эти действия обычно должны применяться и к более новым версиям.

Функция Т-теста

Выполните следующие шаги для расчета п-значение с функцией T-Test.

Будучи выше 5%, это п-value не дает убедительных доказательств против нулевой гипотезы. В нашем примере, исследование не доказало, что диета помогла испытуемым потерять значительное количество веса. Это не обязательно означает, что нулевая гипотеза верна, только то, что она еще не опровергнута.

Маршрут анализа данных

Инструмент анализа данных позволяет делать много интересных вещей, в том числе п-значение расчетов. Чтобы упростить ситуацию, мы будем использовать ту же таблицу, что и в предыдущем методе.

Вот как это делается.

Что нужно знать о п-Ценность

Вот несколько полезных советов относительно п-значение расчетов в Excel.

  1. Если п-значение равно 0,05 (5%), данные в вашей таблице значимы. Если оно меньше 0,05 (5%), ваши данные очень важны.
  2. В случае, если п-значение больше 0,1 (10%), данные в вашей таблице незначительны. Если он находится в диапазоне 0,05-0,10, у вас есть незначительно значимые данные.
  3. Вы можете изменить альфа-значение, хотя наиболее распространенными являются 0,05 (5%) и 0,10 (10%).
  4. Выбор двустороннего тестирования может быть лучшим выбором, в зависимости от вашей гипотезы. В приведенном выше примере одностороннее тестирование означает, что мы исследуем, потеряли ли испытуемые вес после диеты, и это именно то, что нам нужно было выяснить. Но двусторонний тест также проверил бы, набрали ли они статистически значимое количество веса.
  5. п-value не может идентифицировать переменные. Другими словами, если он определяет корреляцию, он не может определить причины, стоящие за ней.

пЗначение демистифицировано

Каждый статистик, достойный его или ее соли, должен знать все тонкости проверки нулевых гипотез и что п-значение означает. Эти знания также пригодятся исследователям во многих других областях.

Вы когда-нибудь использовали Excel для расчета п-значение статистической модели? Какой метод вы использовали? Вы предпочитаете другой способ его расчета? Дайте нам знать в разделе комментариев.

Я помню, когда я проходил свою первую зарубежную стажировку в CERN в качестве практиканта, большинство людей все еще говорили об открытии бозона Хиггса после подтверждения того, что он соответствует порогу «пять сигм» (что означает наличие p-значения 0,0000003).

image

Тогда я ничего не знал о p-значении, проверке гипотез или даже статистической значимости.

Я решил загуглить слово — «p-значение», и то, что я нашел в Википедии, заставило меня еще больше запутаться…

При проверке статистических гипотез p-значение или значение вероятности для данной статистической модели — это вероятность того, что при истинности нулевой гипотезы статистическая сводка (например, абсолютное значение выборочной средней разницы между двумя сравниваемыми группами) будет больше или равна фактическим наблюдаемым результатам.
— Wikipedia

Хорошая работа, Википедия.

Ладно. Я не понял, что на самом деле означает р-значение.

Углубившись в область науки о данных, я наконец начал понимать смысл p-значения и то, где его можно использовать как часть инструментов принятия решений в определенных экспериментах.

Поэтому я решил объяснить р-значение в этой статье, а также то, как его можно использовать при проверке гипотез, чтобы дать вам лучшее и интуитивное понимание р-значений.

Также мы не можем пропустить фундаментальное понимание других концепций и определение p-значения, я обещаю, что сделаю это объяснение интуитивно понятным, не подвергая вас всеми техническими терминами, с которыми я столкнулся.

Всего в этой статье четыре раздела, чтобы дать вам полную картину от построения проверки гипотезы до понимания р-значения и использования его в процессе принятия решений. Я настоятельно рекомендую вам пройтись по всем из них, чтобы получить подробное понимание р-значений:

  1. Проверка гипотезы
  2. Нормальное распределение
  3. Что такое P-значение?
  4. Статистическая значимость

1. Проверка гипотез

image

Прежде чем мы поговорим о том, что означает р-значение, давайте начнем с разбора проверки гипотез, где р-значение используется для определения статистической значимости наших результатов.

Наша конечная цель — определить статистическую значимость наших результатов.

И статистическая значимость построена на этих 3 простых идеях:

  • Проверка гипотезы
  • Нормальное распределение
  • P-значение

Другими словами, мы создадим утверждение (нулевая гипотеза) и используем пример данных, чтобы проверить, является ли утверждение действительным. Если утверждение не соответствует действительности, мы выберем альтернативную гипотезу. Все очень просто.

Чтобы узнать, является ли утверждение обоснованным или нет, мы будем использовать p-значение для взвешивания силы доказательств, чтобы увидеть, является ли оно статистически значимым. Если доказательства подтверждают альтернативную гипотезу, то мы отвергнем нулевую гипотезу и примем альтернативную гипотезу. Это будет объяснено в следующем разделе.

Давайте воспользуемся примером, чтобы сделать эту концепцию более ясной, и этот пример будет использоваться на протяжении всей этой статьи для других концепций.

Пример. Предположим, что в пиццерии заявлено, что время их доставки составляет в среднем 30 минут или меньше, но вы думаете, что оно больше чем заявленное. Таким образом, вы проводите проверку гипотезы и случайным образом выбираете время доставки для проверки утверждения:

  • Нулевая гипотеза — среднее время доставки составляет 30 минут или меньше
  • Альтернативная гипотеза — среднее время доставки превышает 30 минут
  • Цель здесь состоит в том, чтобы определить, какое утверждение — нулевое или альтернативное — лучше подтверждается данными, полученными из наших выборочных данных.

Одним из распространенных способов проверки гипотез является использование Z-критерия. Здесь мы не будем вдаваться в подробности, так как хотим лучше понять, что происходит на поверхности, прежде чем погрузиться глубже.

2. Нормальное распределение

image

Нормальное распределение — это функция плотности вероятности, используемая для просмотра распределения данных.

Нормальное распределение имеет два параметра — среднее (μ) и стандартное отклонение, также называемое сигма (σ).

Среднее — это центральная тенденция распределения. Оно определяет местоположение пика для нормальных распределений. Стандартное отклонение — это мера изменчивости. Оно определяет, насколько далеко от среднего значения склонны падать значения.

  • 68% данных находятся в пределах 1 стандартного отклонения (σ) от среднего значения (μ)
  • 95% данных находятся в пределах 2 стандартных отклонений (σ) от среднего значения (μ)
  • 99,7% данных находятся в пределах 3 стандартных отклонений (σ) от среднего значения (μ)

Классно. Теперь вы можете задаться вопросом: «Как нормальное распределение относится к нашей предыдущей проверке гипотез?»

Поскольку мы использовали Z-тест для проверки нашей гипотезы, нам нужно вычислить Z-баллы (которые будут использоваться в нашей тестовой статистике), которые представляют собой число стандартных отклонений от среднего значения точки данных. В нашем случае каждая точка данных — это время доставки пиццы, которое мы получили.

Обратите внимание, что когда мы рассчитали все Z-баллы для каждого времени доставки пиццы и построили стандартную кривую нормального распределения, как показано ниже, единица измерения на оси X изменится с минут на единицу стандартного отклонения, так как мы стандартизировали переменную, вычитая среднее и деля его на стандартное отклонение (см. формулу выше).

Изучение стандартной кривой нормального распределения полезно, потому что мы можем сравнить результаты теста с ”нормальной" популяцией со стандартизированной единицей в стандартном отклонении, особенно когда у нас есть переменная, которая поставляется с различными единицами.

image

Z-оценка может сказать нам, где лежат общие данные по сравнению со средней популяцией.

Мне нравится, как Уилл Кёрсен выразился: чем выше или ниже Z-показатель, тем менее вероятным будет случайный результат и тем более вероятным будет значимый результат.

Но насколько высокий (или низкий) показатель считается достаточно убедительным, чтобы количественно оценить, насколько значимы наши результаты?

Кульминация

Здесь нам нужен последний элемент для решения головоломки — p-значение, и проверить, являются ли наши результаты статистически значимыми на основе уровня значимости (также известного как альфа), который мы установили перед началом нашего эксперимента.

3. Что такое P-значение?

Наконец… Здесь мы говорим о р-значении!

Все предыдущие объяснения предназначены для того, чтобы подготовить почву и привести нас к этому P-значению. Нам нужен предыдущий контекст и шаги, чтобы понять это таинственное (на самом деле не столь таинственное) р-значение и то, как оно может привести к нашим решениям для проверки гипотезы.

Если вы зашли так далеко, продолжайте читать. Потому что этот раздел — самая захватывающая часть из всех!

Вместо того чтобы объяснять p-значения, используя определение, данное Википедией (извини Википедия), давайте объясним это в нашем контексте — время доставки пиццы!

Напомним, что мы произвольно отобрали некоторые сроки доставки пиццы, и цель состоит в том, чтобы проверить, превышает ли время доставки 30 минут. Если окончательные доказательства подтверждают утверждение пиццерии (среднее время доставки составляет 30 минут или меньше), то мы не будем отвергать нулевую гипотезу. В противном случае мы опровергаем нулевую гипотезу.

Поэтому задача p-значения — ответить на этот вопрос:

Если я живу в мире, где время доставки пиццы составляет 30 минут или меньше (нулевая гипотеза верна), насколько неожиданными являются мои доказательства в реальной жизни?

Р-значение отвечает на этот вопрос числом — вероятностью.

Чем ниже значение p, тем более неожиданными являются доказательства, тем более нелепой выглядит наша нулевая гипотеза.

И что мы делаем, когда чувствуем себя нелепо с нашей нулевой гипотезой? Мы отвергаем ее и выбираем нашу альтернативную гипотезу.

Если р-значение ниже заданного уровня значимости (люди называют его альфа, я называю это порогом нелепости — не спрашивайте, почему, мне просто легче понять), тогда мы отвергаем нулевую гипотезу.

Теперь мы понимаем, что означает p-значение. Давайте применим это в нашем случае.

P-значение в расчете времени доставки пиццы

Теперь, когда мы собрали несколько выборочных данных о времени доставки, мы выполнили расчет и обнаружили, что среднее время доставки больше на 10 минут с p-значением 0,03.

Это означает, что в мире, где время доставки пиццы составляет 30 минут или меньше (нулевая гипотеза верна), есть 3% шанс, что мы увидим, что среднее время доставки, по крайней мере, на 10 минут больше, из-за случайного шума.

Чем меньше p-значение, тем более значимым будет результат, потому что он с меньшей вероятностью будет вызван шумом.

В нашем случае большинство людей неправильно понимают р-значение:

Р-значение 0,03 означает, что есть 3% (вероятность в процентах), что результат обусловлен случайностью — что не соответствует действительности.
Люди часто хотят получить определенный ответ (в том числе и я), и именно поэтому я долго путался с интерпретацией p-значений.
Р-значение ничего не *доказывает*. Это просто способ использовать неожиданность в качестве основы для принятия разумного решения.
— Кэсси Козырков

Вот как мы можем использовать p-значение 0,03, чтобы помочь нам принять разумное решение (ВАЖНО):

  • Представьте, что мы живем в мире, где среднее время доставки всегда составляет 30 минут или меньше — потому что мы верим в пиццерию (наше первоначальное убеждение)!
  • После анализа времени доставки собранных образцов р-значение на 0,03 ниже, чем уровень значимости 0,05 (предположим, что мы установили это значение перед нашим экспериментом), и мы можем сказать, что результат является статистически значимым.
  • Поскольку мы всегда верили пиццерии, что она может выполнить свое обещание доставить пиццу за 30 минут или меньше, нам теперь нужно подумать, имеет ли это убеждение смысл, поскольку результат говорит нам о том, что пиццерия не выполняет свое обещание и результат является статистически значимым.
  • Так что же нам делать? Сначала мы пытаемся придумать любой возможный способ сделать наше первоначальное убеждение (нулевая гипотеза) верным. Но поскольку пиццерия постепенно получает плохие отзывы от других людей и часто приводит плохие оправдания, которые привели к задержке доставки, даже мы сами чувствуем себя нелепо, чтобы оправдать пиццерию, и, следовательно, мы решаем отвергнуть нулевую гипотезу.
  • Наконец, следующее разумное решение — не покупать больше пиццы в этом месте.

По моему мнению, p-значения используются в качестве инструмента для оспаривания нашего первоначального убеждения (нулевая гипотеза), когда результат является статистически значимым. В тот момент, когда мы чувствуем себя нелепо с нашим собственным убеждением (при условии, что р-значение показывает, что результат статистически значим), мы отбрасываем наше первоначальное убеждение (отвергаем нулевую гипотезу) и принимаем разумное решение.

4. Статистическая значимость

Наконец, это последний этап, когда мы собираем все вместе и проверяем, является ли результат статистически значимым.

Недостаточно иметь только р-значение, нам нужно установить порог (уровень значимости — альфа). Альфа всегда должна быть установлена ​​перед экспериментом, чтобы избежать смещения. Если наблюдаемое р-значение ниже, чем альфа, то мы заключаем, что результат является статистически значимым.

Основное правило — установить альфа равным 0,05 или 0,01 (опять же, значение зависит от вашей задачи).

Как упоминалось ранее, предположим, что мы установили альфа равным 0,05, прежде чем мы начали эксперимент, полученный результат является статистически значимым, поскольку р-значение 0,03 ниже, чем альфа.

Для справки ниже приведены основные этапы всего эксперимента:

  1. Сформулируйте нулевую гипотезу
  2. Сформулируйте альтернативную гипотезу
  3. Определите значение альфа для использования
  4. Найдите Z-показатель, связанный с вашим альфа-уровнем
  5. Найдите тестовую статистику, используя эту формулу
  6. Если значение тестовой статистики меньше Z-показателя альфа-уровня (или p-значение меньше альфа-значения), отклоните нулевую гипотезу. В противном случае не отвергайте нулевую гипотезу.

Если вы хотите узнать больше о статистической значимости, не стесняйтесь посмотреть эту статью — Объяснение статистической значимости, написанная Уиллом Керсеном.

Последующие размышления

Здесь много чего нужно переваривать, не так ли?

Я не могу отрицать, что p-значения по своей сути сбивают с толку многих людей, и мне потребовалось довольно много времени, чтобы по-настоящему понять и оценить значение p-значений и то, как они могут быть применены в рамках нашего процесса принятия решений в качестве специалистов по данным.

Но не слишком полагайтесь на p-значения, поскольку они помогают только в небольшой части всего процесса принятия решений.

Я надеюсь, что мое объяснение p-значений стало интуитивно понятным и полезным в вашем понимании того, что в действительности означают p-значения и как их можно использовать при проверке ваших гипотез.

Сам по себе расчет р-значений прост. Трудная часть возникает, когда мы хотим интерпретировать p-значения в проверке гипотез. Надеюсь, что теперь трудная часть станет для вас немного легче.

Если вы хотите узнать больше о статистике, я настоятельно рекомендую вам прочитать эту книгу (которую я сейчас читаю!) — Практическая статистика для специалистов по данным, специально написанная для data scientists, чтобы разобраться с фундаментальными концепциями статистики.

image

Узнайте подробности, как получить востребованную профессию с нуля или Level Up по навыкам и зарплате, пройдя платные онлайн-курсы SkillFactory:

Читайте также: