Что представляют собой ошибки первого рода

Учимся вместе: Ошибки первого и второго рода

Оши́бка пе́рвого ро́да (α-ошибка, ложноположительное заключение) — ситуация, когда отвергнута верная нулевая гипотеза (об отсутствии связи между явлениями или искомого эффекта).

Оши́бка второ́го ро́да (β-ошибка, ложноотрицательное заключение) — ситуация, когда принята неверная нулевая гипотеза.

В математической статистике это ключевые понятия задач проверки статистических гипотез. Данные понятия часто используются и в других областях, когда речь идёт о принятии «бинарного» решения (да/нет) на основе некоего критерия (теста, проверки, измерения), который с некоторой вероятностью может давать ложный результат.

Классическим примером является пример из радиолокации:
В задаче радиолокационного обнаружения воздушных целей, прежде всего, в системе ПВО ошибки первого и второго рода, с формулировкой «ложная тревога» и «пропуск цели» являются одним из основных элементов как теории, так и практики построения радиолокационных станций. Вероятно, это первый пример последовательного применения статистических методов в целой технической области.

В трейдинге, это Сделка, причем и заключение, и не заключение Сделки может быть ошибкой.
Замечание от себя: практически все торговые системы худо-бедно принимают в расчет ошибку первого рода, но второго — ни одна.Даже хуже ошибки второго рода не считаются ошибками в торговых системах, так нельзя, товарищи, это уводит нас в очень маргинальное русло .
Наша система будет первой учитывающей ошибку второго рода.
Задание 1:
Вы должны уверенно выговаривать и прочно ввести в бытовой разговор термины:
1.Нулевая гипотеза (H₀)
2.Ошибка первого рода (α-ошибка)
3.Ошибка второго рода (β-ошибка)

Ошибки I и II рода (Type I errors, type II errors)

Ошибки I и II рода — это ключевые понятия, используемые в анализе данных и математической статистике.

• В анализе данных ошибки I и II рода используются для оценки точности моделей бинарной классификации.
• В математической статистике ошибки I и II рода применяются при проверке статистических гипотез .

Рассмотрим пример. Пусть банк использует систему классификации заёмщиков на кредитоспособных и некредитоспособных. При этом первым кредит выдаётся, а вторые получат отказ. Таким образом, обнаружение некредитоспособного заёмщика можно рассматривать как «сигнал тревоги», сообщающий о возможных рисках. Подробнее об оценке вероятности дефолта потенциального заемщика с помощью Loginom в статье «Machine learning в Loginom на примере задачи c Kaggle».

Любой реальный классификатор совершает ошибки. В нашем случае таких ошибок может быть две:

• Кредитоспособный заёмщик распознается моделью как некредитоспособный и ему отказывается в кредите. Данный случай можно трактовать как «ложную тревогу».
• Некредитоспособный заёмщик распознаётся как кредитоспособный и ему ошибочно выдаётся кредит. Данный случай можно рассматривать как «пропуск цели».

Несложно увидеть, что эти ошибки неравноценны по связанным с ними проблемам. В случае «ложной тревоги» потери банка составят только проценты по невыданному кредиту. В случае «пропуска цели» можно потерять всю сумму выданного кредита. Поэтому системе важнее не допустить «пропуск цели», чем «ложную тревогу».

Поскольку с точки зрения логики задачи нам важнее правильно распознать некредитоспособного заёмщика (чем ошибиться распознавании кредитоспособного) будем называть соответствующий исход классификации положительным (заёмщик некредитоспособен), а противоположный — отрицательным (заемщик кредитоспособен). Тогда возможны следующие исходы классификации:

• Некредитоспособный заёмщик классифицирован как некредитоспособный, т.е. положительный класс распознан как положительный. Наблюдения, для которых это имеет место называются истинно-положительными (true positive — TP).
• Кредитоспособный заёмщик классифицирован как кредитоспособный, т.е. отрицательный класс распознан как отрицательный. Наблюдения, которых это имеет место, называются истинно отрицательными (true negative — TN).
• Кредитоспособный заёмщик классифицирован как некредитоспособный, т.е. имела место ошибка, в результате которой отрицательный класс был распознан как положительный. Наблюдения, для которых был получен такой исход классификации, называются ложно-положительными (false positive — FP), а ошибка классификации называется ошибкой I рода.
• Некредитоспособный заёмщик распознан как кредитоспособный, т.е. имела место ошибка, в результате которой положительный класс был распознан как отрицательный. Наблюдения, для которых был получен такой исход классификации, называются ложно-отрицательными (false negative — FN), а ошибка классификации называется ошибкой II рода.

Таким образом, ошибка I рода, или ложно-положительный исход классификации, имеет место, когда отрицательное наблюдение распознано моделью как положительное. Ошибкой II рода, или ложно-отрицательным исходом классификации, называют случай, когда положительное наблюдение распознано как отрицательное. Поясним это с помощью таблицы.

Классифицировано\Факт	Некредитоспособный (положительный)	Кредитоспособный (отрицательный)
Некредитоспособный (положительный)	Ошибки нет (истинно-положительный, True Positive)	Ошибка I рода (ложно-положительный, False Positive), ложная тревога
Кредитоспособный (отрицательный)	Ошибка II рода (ложно-отрицательный, False Negative), пропуск цели	Ошибки нет (истинно-отрицательный, True Negative)

После классификации моделью всех обучающих примеров определяется число правильных классификаций и число ошибок I и II рода. Затем вычисляются чувствительность и специфичность классификатора и на их основе оценивается точность бинарной модели с помощью ROC-кривой.

При проверке статистических гипотез ошибка I рода, называемая также «ложно-положительный вывод», заключается в отклонении нулевой гипотезы в случае, когда она является истинной. Ошибка II рода, называемая «ложно-отрицательный вывод» состоит в принятии нулевой гипотезы, когда она является ложной. Поясним сказанное с помощью таблицы:

Нулевая гипотеза	Ложная	Истинная
Отклоняется	Ошибки нет	Ошибка I рода (ложно-положительный вывод)
Принимается	Ошибка II рода (ложно-отрицательный вывод)	Ошибки нет

Вероятность ошибки I рода в статистике называют уровнем значимости.

В Loginom существует визуализатор качество бинарной классификации на основе логистической регрессии, в котором расчитывается и отображается множество метрик, в том числе и ошибки I и II рода.

5.3. Ошибки первого и второго рода

Ошибка первого рода состоит в том, что гипотеза будет отвергнута, хотя на самом деле она правильная. Вероятность допустить такую ошибку называют уровнем значимости и обозначают буквой («альфа»).

Ошибка второго рода состоит в том, что гипотеза будет принята, но на самом деле она неправильная. Вероятность совершить эту ошибку обозначают буквой («бета»). Значение называют мощностью критерия – это вероятность отвержения неправильной гипотезы.

В практических задачах, как правило, задают уровень значимости, наиболее часто выбирают значения .

И тут возникает мысль, что чем меньше «альфа», тем вроде бы лучше. Но это только вроде: при уменьшении вероятности — отвергнуть правильную гипотезу растёт вероятность — принять неверную гипотезу (при прочих равных условиях). Поэтому перед исследователем стоит задача грамотно подобрать соотношение вероятностей и , при этом учитывается тяжесть последствий, которые повлекут за собой та и другая ошибки.

Понятие ошибок 1-го и 2-го рода используется не только в статистике, и для лучшего понимания я приведу пару нестатистических примеров.

Петя зарегистрировался в почтовике. По умолчанию, – он считается добропорядочным пользователем. Так считает антиспам фильтр. И вот Петя отправляет письмо. В большинстве случаев всё произойдёт, как должно произойти – нормальное письмо дойдёт до адресата (правильное принятие нулевой гипотезы), а спамное – попадёт в спам (правильное отвержение). Однако фильтр может совершить ошибку двух типов:

1) с вероятностью ошибочно отклонить нулевую гипотезу (счесть нормальное письмо за спам и Петю за спаммера) или
2) с вероятностью ошибочно принять нулевую гипотезу (хотя Петя редиска).

Какая ошибка более «тяжелая»? Петино письмо может быть ОЧЕНЬ важным для адресата, и поэтому при настройке фильтра целесообразно уменьшить уровень значимости , «пожертвовав» вероятностью (увеличив её). В результате в основной ящик будут попадать все «подозрительные» письма, в том числе особо талантливых спаммеров. …Такое и почитать даже можно, ведь сделано с любовью 🙂

Существует примеры, где наоборот – более тяжкие последствия влечёт ошибка 2-го рода, и вероятность следует увеличить (в пользу уменьшения вероятности ). Не хотел я приводить подобные примеры, и даже отшутился на сайте, но по какой-то мистике через пару месяцев сам столкнулся с непростой дилеммой. Видимо, таки, надо рассказать:

У человека появилась серьёзная болячка. В медицинской практике её принято лечить (основное «нулевое» решение). Лечение достаточно эффективно, однако не гарантирует результата и более того опасно (иногда приводит к серьёзному пожизненному увечью). С другой стороны, если не лечить, то возможны осложнения и долговременные функциональные нарушения.

Вопрос: что делать? И ответ не так-то прост – в разных ситуациях разные люди могут принять разные решения (упаси вас).

Если болезнь не особо «мешает жить», то более тяжёлые последствия повлечёт ошибка 2-го рода – когда человек соглашается на лечение, но получает фатальный результат (принимает, как оказалось, неверное «нулевое» решение). Если же…, нет, пожалуй, достаточно, возвращаемся к теме:

Ошибки первого и второго рода

Выдвинутая гипотеза может быть правильной или неправильной, поэтому возникает необходимость её проверки. Поскольку проверку производят статистическими методами, её называют статистической. В итоге статистической проверки гипотезы в двух случаях может быть принято неправильное решение, т. е. могут быть допущены ошибки двух родов.

Ошибка первого рода состоит в том, что будет отвергнута правильная гипотеза.

Ошибка второго рода состоит в том, что будет принята неправильная гипотеза.

Подчеркнём, что последствия этих ошибок могут оказаться весьма различными. Например, если отвергнуто правильное решение «продолжать строительство жилого дома», то эта ошибка первого рода повлечёт материальный ущерб: если же принято неправильное решение «продолжать строительство», несмотря на опасность обвала стройки, то эта ошибка второго рода может повлечь гибель людей. Можно привести примеры, когда ошибка первого рода влечёт более тяжёлые последствия, чем ошибка второго рода.

Замечание 1. Правильное решение может быть принято также в двух случаях:

гипотеза принимается, причём и в действительности она правильная;

гипотеза отвергается, причём и в действительности она неверна.

Замечание 2. Вероятность совершить ошибку первого рода принято обозначать через ; её называют уровнем значимости. Наиболее часто уровень значимости принимают равным 0,05 или 0,01. Если, например, принят уровень значимости, равный 0,05, то это означает, что в пяти случаях из ста имеется риск допустить ошибку первого рода (отвергнуть правильную гипотезу).

Статистический критерий проверки нулевой гипотезы. Наблюдаемое значение критерия

Для проверки нулевой гипотезы используют специально подобранную случайную величину, точное или приближённое распределение которой известно. Обозначим эту величину в целях общности через .

Статистическим критерием (или просто критерием) называют случайную величину , которая служит для проверки нулевой гипотезы.

Например, если проверяют гипотезу о равенстве дисперсий двух нормальных генеральных совокупностей, то в качестве критерия принимают отношение исправленных выборочных дисперсий:.

Эта величина случайная, потому что в различных опытах дисперсии принимают различные, наперёд неизвестные значения, и распределена по закону Фишера – Снедекора.

Для проверки гипотезы по данным выборок вычисляют частные значения входящих в критерий величин и таким образом получают частное (наблюдаемое) значение критерия.

Наблюдаемым значением называют значение критерия, вычисленное по выборкам. Например, если по двум выборкам найдены исправленные выборочные дисперсиии, то наблюдаемое значение критерия.

Критическая область. Область принятия гипотезы. Критические точки

После выбора определённого критерия множество всех его возможных значений разбивают на два непересекающихся подмножества: одно из них содержит значения критерия, при которых нулевая гипотеза отвергается, а другая – при которых она принимается.

Критической областью называют совокупность значений критерия, при которых нулевую гипотезу отвергают.

Областью принятия гипотезы (областью допустимых значений) называют совокупность значений критерия, при которых гипотезу принимают.

Основной принцип проверки статистических гипотез можно сформулировать так: если наблюдаемое значение критерия принадлежит критической области – гипотезу отвергают, если наблюдаемое значение критерия принадлежит области принятия гипотезы – гипотезу принимают.

Поскольку критерий — одномерная случайная величина, все её возможные значения принадлежат некоторому интервалу. Поэтому критическая область и область принятия гипотезы также являются интервалами и, следовательно, существуют точки, которые их разделяют.

Критическими точками (границами) называют точки, отделяющие критическую область от области принятия гипотезы.

Различают одностороннюю (правостороннюю или левостороннюю) и двустороннюю критические области.

Правосторонней называют критическую область, определяемую неравенством >, где— положительное число.

Левосторонней называют критическую область, определяемую неравенством <, где— отрицательное число.

Односторонней называют правостороннюю или левостороннюю критическую область.

Двусторонней называют критическую область, определяемую неравенствами где.

В частности, если критические точки симметричны относительно нуля, двусторонняя критическая область определяется неравенствами ( в предположении, что >0):

, или равносильным неравенством .

Отыскание правосторонней критической области

Как найти критическую область? Обоснованный ответ на этот вопрос требует привлечения довольно сложной теории. Ограничимся её элементами. Для определённости начнём с нахождения правосторонней критической области, которая определяется неравенством >, где>0. Видим, что для отыскания правосторонней критической области достаточно найти критическую точку. Следовательно, возникает новый вопрос: как её найти?

Для её нахождения задаются достаточной малой вероятностью – уровнем значимости . Затем ищут критическую точку, исходя из требования, чтобы при условии справедливости нулевой гипотезы вероятность того, критерийпримет значение, большее, была равна принятому уровню значимости: Р(>)=.

Для каждого критерия имеются соответствующие таблицы, по которым и находят критическую точку, удовлетворяющую этому требованию.

Замечание 1. Когда критическая точка уже найдена, вычисляют по данным выборок наблюдаемое значение критерия и, если окажется, что >, то нулевую гипотезу отвергают; если же<, то нет оснований, чтобы отвергнуть нулевую гипотезу.

Пояснение. Почему правосторонняя критическая область была определена, исходя из требования, чтобы при справедливости нулевой гипотезы выполнялось соотношение

Р(>)=? (*)

Поскольку вероятность события >мала (— малая вероятность), такое событие при справедливости нулевой гипотезы, в силу принципа практической невозможности маловероятных событий, в единичном испытании не должно наступить. Если всё же оно произошло, т.е. наблюдаемое значение критерия оказалось больше, то это можно объяснить тем, что нулевая гипотеза ложна и, следовательно, должна быть отвергнута. Таким образом, требование (*) определяет такие значения критерия, при которых нулевая гипотеза отвергается, а они и составляют правостороннюю критическую область.

Замечание 2. Наблюдаемое значение критерия может оказаться большим не потому, что нулевая гипотеза ложна, а по другим причинам (малый объём выборки, недостатки методики эксперимента и др.). В этом случае, отвергнув правильную нулевую гипотезу, совершают ошибку первого рода. Вероятность этой ошибки равна уровню значимости. Итак, пользуясь требованием (*), мы с вероятностьюрискуем совершить ошибку первого рода.

Замечание 3. Пусть нулевая гипотеза принята; ошибочно думать, что тем самым она доказана. Действительно, известно, что один пример, подтверждающий справедливость некоторого общего утверждения, ещё не доказывает его. Поэтому более правильно говорить, «данные наблюдений согласуются с нулевой гипотезой и, следовательно, не дают оснований её отвергнуть».

На практике для большей уверенности принятия гипотезы её проверяют другими способами или повторяют эксперимент, увеличив объём выборки.

Отвергают гипотезу более категорично, чем принимают. Действительно, известно, что достаточно привести один пример, противоречащий некоторому общему утверждению, чтобы это утверждение отвергнуть. Если оказалось, что наблюдаемое значение критерия принадлежит критической области, то этот факт и служит примером, противоречащим нулевой гипотезе, что позволяет её отклонить.

Отыскание левосторонней и двусторонней критических областей***

Отыскание левосторонней и двусторонней критических областей сводится (так же, как и для правосторонней) к нахождению соответствующих критических точек. Левосторонняя критическая область определяется неравенством <(<0). Критическую точку находят, исходя из требования, чтобы при справедливости нулевой гипотезы вероятность того, что критерий примет значение, меньшее, была равна принятому уровню значимости: Р(<)=.

Двусторонняя критическая область определяется неравенствами Критические точки находят, исходя из требования, чтобы при справедливости нулевой гипотезы сумма вероятностей того, что критерий примет значение, меньшееили большее, была равна принятому уровню значимости:

. (*)

Ясно, что критические точки могут быть выбраны бесчисленным множеством способов. Если же распределение критерия симметрично относительно нуля и имеются основания (например, для увеличения мощности) выбрать симметричные относительно нуля точки (- )и(>0), то

Учитывая (*), получим .

Это соотношение и служит для отыскания критических точек двусторонней критической области. Критические точки находят по соответствующим таблицам.

Дополнительные сведения о выборе критической области. Мощность критерия

Мы строили критическую область, исходя из требования, чтобы вероятность попадания в неё критерия была равна при условии, что нулевая гипотеза справедлива. Оказывается целесообразным ввести в рассмотрение вероятность попадания критерия в критическую область при условии, что нулевая гипотеза неверна и, следовательно, справедлива конкурирующая.

Мощностью критерия называют вероятность попадания критерия в критическую область при условии, что справедлива конкурирующая гипотеза. Другими словами, мощность критерия есть вероятность того, что нулевая гипотеза будет отвергнута, если верна конкурирующая гипотеза.

Пусть для проверки гипотезы принят определённый уровень значимости и выборка имеет фиксированный объём. Остаётся произвол в выборе критической области. Покажем, что её целесообразно построить так, чтобы мощность критерия была максимальной. Предварительно убедимся, что если вероятность ошибки второго рода (принять неправильную гипотезу) равна , то мощность равна 1-. Действительно, если— вероятность ошибки второго рода, т.е. события «принята нулевая гипотеза, причём справедливо конкурирующая», то мощность критерия равна 1 —.

Пусть мощность 1 — возрастает; следовательно, уменьшается вероятностьсовершить ошибку второго рода. Таким образом, чем мощность больше, тем вероятность ошибки второго рода меньше.

Итак, если уровень значимости уже выбран, то критическую область следует строить так, чтобы мощность критерия была максимальной. Выполнение этого требования должно обеспечить минимальную ошибку второго рода, что, конечно, желательно.

Замечание 1. Поскольку вероятность события «ошибка второго рода допущена» равна , то вероятность противоположного события «ошибка второго рода не допущена» равна 1 —, т.е. мощности критерия. Отсюда следует, что мощность критерия есть вероятность того, что не будет допущена ошибка второго рода.

Замечание 2. Ясно, что чем меньше вероятности ошибок первого и второго рода, тем критическая область «лучше». Однако при заданном объёме выборки уменьшить одновременно иневозможно; если уменьшить, тобудет возрастать. Например, если принять=0, то будут приниматься все гипотезы, в том числе и неправильные, т.е. возрастает вероятностьошибки второго рода.

Как же выбрать наиболее целесообразно? Ответ на этот вопрос зависит от «тяжести последствий» ошибок для каждой конкретной задачи. Например, если ошибка первого рода повлечёт большие потери, а второго рода – малые, то следует принять возможно меньшее.

Если уже выбрано, то, пользуясь теоремой Ю. Неймана и Э.Пирсона, можно построить критическую область, для которойбудет минимальным и, следовательно, мощность критерия максимальной.

Замечание 3. Единственный способ одновременного уменьшения вероятностей ошибок первого и второго рода состоит в увеличении объёма выборок.