Вопрос по matlab – КНН Алго в Matlab

е используемые функции требуют набора инструментов статистики):

%# image size
sz = [25,42];

%# training images
numTrain = 200;
trainData = zeros(numTrain,prod(sz));
for i=1:numTrain
    img = imread( sprintf('train/image_%03d.jpg',i) );
    trainData(i,:) = img(:);
end

%# testing images
numTest = 200;
testData = zeros(numTest,prod(sz));
for i=1:numTest
    img = imread( sprintf('test/image_%03d.jpg',i) );
    testData(i,:) = img(:);
end

%# target class (I'm just using random values. Load your actual values instead)
trainClass = randi([1 5], [numTrain 1]);
testClass = randi([1 5], [numTest 1]);

%# compute pairwise distances between each test instance vs. all training data
D = pdist2(testData, trainData, 'euclidean');
[D,idx] = sort(D, 2, 'ascend');

%# K nearest neighbors
K = 5;
D = D(:,1:K);
idx = idx(:,1:K);

%# majority vote
prediction = mode(trainClass(idx),2);

%# performance (confusion matrix and classification error)
C = confusionmat(testClass, prediction);
err = sum(C(:)) - sum(diag(C))

Если вы хотите вычислитьЕвклидово расстояние между векторамиa а такжеb, просто используйтеПифагор, В Matlab:

dist = sqrt(sum((a-b).^2));

Тем не менее, вы можете использоватьpdist рассчитать его для всех комбинаций векторов в вашей матрице одновременно.

dist = squareform(pdist(myVectors, 'euclidean'));

Я интерпретирую столбцы как экземпляры для классификации и строки как потенциальные соседи. Это произвольно, и вы можете переключить их.

Если у вас есть отдельный набор тестов, вы можете рассчитать расстояние до экземпляров в обучающем наборе с помощьюpdist2:

dist = pdist2(trainingSet, testSet, 'euclidean')

Вы можете использовать эту матрицу расстояний, чтобы узнать ваши векторы следующим образом. Я сгенерирую некоторые случайные данные, которые будут служить примером, что приведет к низкой (около уровня вероятности) точности. Но, конечно, вы должны включить ваши фактические данные, и результаты, вероятно, будут лучше.

m = rand(nrOfVectors,nrOfFeatures); % random example data
classes = randi(nrOfClasses, 1, nrOfVectors); % random true classes
k = 3;  % number of neighbors to consider, 3 is a common value

d = squareform(pdist(m, 'euclidean')); % distance matrix
[neighborvals, neighborindex] = sort(d,1); % get sorted distances

Посмотрите наneighborvals а такжеneighborindex матрицы и посмотрим, имеют ли они смысл для вас. Первая - это отсортированная версия ранееd матрица, а последний дает соответствующие номера экземпляров. Обратите внимание, что собственные расстояния (по диагонали вd) поплыли на вершину. Нас это не интересует (всегда ноль), поэтому мы пропустим верхнюю строку на следующем шаге.

assignedClasses = mode(neighborclasses(2:1+k,:),1);

Таким образом, мы назначаем самый распространенный класс среди k ближайших соседей!

Вы можете сравнить назначенные классы с фактическими классами, чтобы получить оценку точности:

accuracy = 100 *  sum(classes == assignedClasses)/length(classes);
fprintf('KNN Classifier Accuracy: %.2f%%\n', 100*accuracy)

Или составьте путаницу, чтобы увидеть распределение классификаций:

confusionmat(classes, assignedClasses)

knnclassify

Поиграйте с количеством соседей, которых вы хотите сохранить, чтобы получить лучший результат (используйте путаницу). Эта функция, конечно, заботится о расстоянии.