Android-приложение для поиска дешевых авиабилетов: play.google.com
Главная -> Дистанционное зондирование

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 [54] 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129

зоне перекрытия. Рассмотрим некоторые факторы, влияющие на размер этой зоны. На рис. П1.15 изображены пары нормальных функций плотности вероятностей, имеющие различные степени перекрытия. В целях этой иллюстрации (и нескольких других, следующих далее) предполагается, что рассматриваемые классы имеют равные априорные вероятности, в этом случае граница рещения проходит через точку пересечения функций распределения вероятностей.

Сравнивая пары нормальных плотностей на рис. П1.15, а и 111.15,6, мы видим, что если дисперсии остаются постоянными, зона перекрытия уменьшается при увеличении расстояния между математическими ожиданиями. Сравнение же рис. 111.15,6 и III.15, в показывает, что при постоянном расстоянии между математическими ожиданиями зона перекрытия увеличивается с увеличением дисперсий функций плотности, т. е. данные становятся более рассредоточенными в пространстве измерений. Эти явления можно объединить, вводя «нормализованное расстояние между математическими ожиданиями» яорм, которое равно абсолютному значению разности математических ожиданий, деленному на сумму стандартных отклонений:

01+ 02

dHopM= 77 , (III.27)

где индексы относятся к соответствующим функциям плотности. Это нормализованное расстояние служит количественной мерой степени «разделения» функций плотности. Это - мера статистической разделимости классов образов, т. е. разделимости их функций распределения вероятностей. На основании этих рассуждений и рис. III.15 ясно, что существует обратная зависимость между статистической разделимостью и вероятностью ошибки: чем больше статистическая разделимость классов, тем меньше вероятность ошибки.

Нам необходимо, однако, продолжать поиск более эффективной меры статистической разделимости. Во-первых, поведение t/норм не совпадает с тем, какое нам хотелось бы иметь; значение б/норм равно О для любых двух функций плотности, имеющих равные математические ожидания, хотя вероятность ошибки, как указывают зоны перекрытия, изменяется в зависимости от дисперсий этих функций плотности (рис. III. 16). Кроме того, нам нужно уметь измерять многомерную разделимость, чтобы оперировать с пространствами измерений размерностью более единицы. Ниже обсуждаются две такие меры, дивергенция и J-M расстояние. Для каждой меры делается попытка интуитивного и математического обоснования. Рассматриваются специальные случаи, в которых предполагаются многомерные нормальные функции плотности и обсуждаются относительные преимущества этих двух мер.



Дивергенция

Она была одной из первых мер статистической разделимости, использованных в распознавании образов*.

Дивергенция связана с отношением правдоподобия Ljj для двух классов i и /;

р{Х\щ)

4-W = -7p:T- (П1.28)

Рассмотрим рис. III.17. Вспомнив пример игры в кости (см. рис. III. 13), нетрудно понять, что чем больше расстояние а на рис. III.17, тем правдоподобнее, что классификатор не ошибается, отнеся измерение в класс i.

Классы с одинаковьи-. математическим ожидание


/ Г

1НИЦЫ решении

Рис. III.16. Области перекрытия в слу- Рис. III.17. Определение отноше-чае равенства математических ожиданий шя правдоподобия в точке

Но размер а хорошо характеризуется отношением правдоподобия в точке Xq. чем больше а, тем больше значение отношения правдоподобия. Заметим, что в точке пересечения функций плотности вероятностей а = 0, а отношение правдоподобия равно 1,0.

Чтобы математические выкладки были несколько более легкими, удобно определить логарифмическое отношение правдоподобия, которое подобным же образом связано с размером а,

Lij (Х) = IgeLij (X) == \geP (Х I Щ) - IgeP {X j). (Ill .29)

Дивергенция Dij классов i и / выралсается через логарифмическое отношение правдоподобия следующим образом:

Di, = Е [Lij (X) \щ] + Е [Lji (X) i (III .30)

где£[ ] обозначает ожидание, или среднее, т. е.

Е [Lij (Х) I ©j] == j Lij {X) р {X I ш) dX

(III.31)

E [Lji (X) \ co,-] = Lji (X) p (X I 0),-) dX. X

(III.32)

* Математический вывод дивергенции можно прочитать бегло или же-читатель может опустить его и перейти к первому абзацу, следующему за выражением (III.33).



в этих выражениях интегралы берутся по всему пространству измерений. Это - объемные интегралы, если пространство многомерно. Таким образом, дивергенцию можно интерпретировать как среднее значение отношения правдоподобия для образов класса i плюс среднее значение отношения правдоподобия для образов класса /.

Мы обнаруживаем, что математические свойства дивергенции соответствуют свойствам, которые, как мы можем предполагать, должны иметь указатель вероятности ошибки: 1) Dij> >0. Для двух различных функций распределения вероятностей дивергенция всегда больше нуля; 2) Djj = 0. Дивергенция функции распределения вероятностей по отношению к ней самой (или дивергенция двух равных функций распределения вероятностей) равна нулю; 3) Dij = Dji. Дивергенция - симметричная мера расстояния; 4) Если компоненты вектора измерений ста-

тистически независимы, то Вц{х1, х, Хп) ==110ц{хи);

/г=1

,5) Dij [Хх, Х2, Хп, Xn+l) >-Dij{X\, X2, Хп).

Последние два свойства указывают, что добавление измерений никогда не уменьшает статистическую разделимость. В действительности, если измерения независимы, суммарная мера разделимости - просто сумма разделимостей отдельных измерений.

Итак, с практической точки зрения может показаться, что мы находимся там же, где и были, когда пытались прямо вычислить вероятность ошибки, поскольку определяющее выражение для дивергенции также содержит объемные интегралы, как и выражение для вероятности ошибки. Но когда предполагается, что классы имеют нормальные функции плотности вероятностей*, т. е.

р(X\щ) = М(Uiр{Х\0)) = {Uj, -Lj),

можно записать выражение для дивергенции, содержащее математические ожидания и ковариационные матрицы и не содержащее интегралов,

Dij =-tv iii - Sj) (2-1 - Ii-Щ +

+ 4- tr [(Sr + V) (fi - j) (Ui - Ujr], (111.33)

где 1т[А] обозначает след матрицы А, т. е. сумму ее диагональных элементов. (Другие векторные/матричные операции были введены в разд. 1П.5). Это выражение, хотя и выглядит сложным, допускает простую оценку, эффективно вычисляемую на ЭВМ.

* N(UiI,i)-многомерная нормальная функция плотности с вектором математического ожидания Ui и ковариационной матрицей 2г.



0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 [54] 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129



0.0797
Яндекс.Метрика