LiMaximize2

Еще пара слов о методе максимального правдоподобия и метод моментов

00:28

Функция информации Фишера

Информация Фишера

, где , . Конечно, — функция правдоподобия
Докажем второе равенство: пусть обладает плотностью . Тогда
. В это же время . Применяя формулу производной частного и подставляя ее в математическое ожидание, приходим к искомому результату: один занулится из-за первых равенств, а второй является дисперсией 13:27

Общий случай

Для чего нам нужна информация Фишера?

20:40
Чем меньше вторая производная, тем более выгнута функция — поэтому мы берем математическое ожидание отрицательным. Другими словами, минимизация функции, умноженной на -1 равносильна поиску ее максимума.

Когда метод Фишера уместен?

23:16

  • Каждому зависит свое распределение
  • не зависит от — в лежащем в основе KL-отклонении используется логарифм, который не определен в нуле
  • не лежит на границе — это мешает работать с производными
  • инвертируема в окрестности

Тогда удовлетворяет:в соответствии с

  1. в соответствии с
  2. в соответствии с

    Чем выше кривизна, тем выше и, соответственно, ниже

Информация Фишера связанна с квадратическим риском: ,

Например, выполняется теорема Крамера-Рао: . Она несложно вытекает из второго следствия

31:25 — учился бы я в MIT — попробовал бы доказать это... но, это выглядит максимально зловеще как-то да и термер я пока что не доучил, блин

Метод моментов

32:36

Interactive Graph
Table Of Contents
LiMaximize2Еще пара слов о методе максимального правдоподобия и метод моментов
Функция информации Фишера
Для чего нам нужна информация Фишера?
Когда метод Фишера уместен?
Метод моментов