1Теория дискриминантного анализа и статистика
1.1 Постановка задачи
Сформулируем математически задачу классификации. Положим, что имеется объект наблюдения ??, определяющийся вектором данных из признаков:
x=(x_1,x_2,…,x_p )?X (1)
где,X– некоторое множество значений.
Пусть множество разбито на некоторое количество не пересекающихся между собой классов :
Y={1,…,k}(2)
U_(j=1)^k W_j=X,W_j?W_i=?(i,j ?Y,i?j) (3)
Тогда требуется создать классификатор, способный устанавливать принадлежность ?? к одному из доступных классов[8].
1.2 Дискриминантный анализ
1.2.1 Основа дискриминантного анализа
Положим, что исходные данные из некоторого множества нормально распределены:
x?W_j-x~N(?_j,?_j),j=(1,k) ? (4)
Определяется класс через минимизацию величины вероятности ошибочной классификации:
?_(j=1)^k-?p_(j ) (?_(i=1,j?i)^k-?P(i¦x) (5??)
P(j¦x)=(p_(j ) f_j (x))/(?_(j=1)^k-?p_(j ) f_j (x)?) (6)
где,pj– вероятность принадлежности объекта к множеству;
P(i|??) – вероятность ошибки определения элемента.
В результате, ?? будет относиться к классу, который имеет наибольшую апостериорную вероятность [3].
1.2.2 Линейный дискриминантный анализ
В основе линейного дискриминантного анализа лежит функция различия, которая строится на основе параметров – признаков, со своими коэффициентами значимости.
F=a_1 x_1+a_2 x_2+?+a_i x_i (1.2.2.1)
где, F – значение дискриминантной функции;
a – коэффициент вклада признака xi.
Данная функция, представленная в канонической форме, строится для каждой группы. Основными её параметрами являются коэффициенты вклада признака. Поэтому чем больше различие средних значений соответствующего коэффициента в группах, тем более точной будет функция различия. Также, при построении других функций, их значения должны быть некоррелированными со всеми предыдущими. Количество самих функций различия зависит от числа групп и признаков. Если количество признаков меньше числа групп, то числом функций будет являться количество признаков, в противном случае, когда количество признаков класса больше числа групп, функций различия следует построить по числу групп без единицы.
Рассмотрим, как получают коэффициенты функции различия. Таблица значений групповых средних и стандартных отклонений не будет достаточным. Данные параметры не учитывает зависимости между переменными. Матричные преобразования сумм квадратов и попарных произведений Т помогут учесть степень разности между объектами, который заложен в основе статического метода. Для получения матрицы Т вводятся следующие обозначения:
g– количество классов;
