outliers

RAMOS, J. R.. Image matching algorithms with adaptive filtering of outliers. 2016. 102 p. Monograph (Master student – Program in Computer Science and Computational Mathematics) – Instituto de Ciências Matemáticas e de Computação (ICMC/USP), São Carlos – SP. Image matching plays a major role in many applications, such as pattern recognition and microscopic imaging. It encompasses three steps: 1) interest point selection; 2) feature extraction from each point; 3) feature point matching. For steps 1 and 2, traditional interest point detectors/extractors have worked well. However, for step 3 even a few points incorrectly matched (outliers), might lead to an undesirable result. State-of-the-art consensus algorithms present a high time cost as the number of outlier increases. Aiming at overcoming this problem, we present FOMP, a preprocessing approach, that reduces the number of outliers in the initial set of matched points. FOMP filters out the vertices that present a higher difference among their edges in a complete graph representation of the points. To validate the proposed method, experiments were performed with four image database: (a) variations of rotation or camera zoom; (b) repetitive patterns, which leads to duplicity of features vectors; (c) deformable objects, such as plastics, clothes or papers; (d) affine transformations (different viewpoint). The experimental results showed that FOMP removes more than 65% of the outliers, while keeping over 98% of the inliers. Moreover, the precision of traditional methods is kept, while reducing the processing time of graph based approaches by half. Key-words: Image matching, Feature point matching; Outlier removal, Outlier filtering. LISTA DE ILUSTRAÇÕES Figura1 – Passos principaisda fusão de imagens com sobreposição. . . . . . . . . . . 33 Figura2 – Pontos decontrole: pontos de esquinaem verde e junções-T em rosa; vetor decaracterísticas hipotético extraído deum ponto deesquina. . . . . . . . . 34 Figura3 – Extração devetor decaracterísticas deum CP(SIFT). . . . . . . . . . . . . 35 Figura4 – Cada CP detectado na primeira imagem é correspondido com um CP na segunda imagem. A correspondência é realizado pela métrica L2, onde o vizinho o mais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Figura5 – Outliers (em vermelho) removidos usando o método RANSAC. . . . . . . . 37 Figura6 – Resultado final da fusão de duas imagens. . . . . . . . . . . . . . . . . . . 37 Figura7 – Considerando duas imagens I e I ’ em um mesmo plano p, a homografia planar H é um mapeamento dos pontos da imagem I para os pontos da imagem I ’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 Figura8 – Exemplo de iteraçõesdo algoritmo RANSAC. Em azul, modelo matemático encontrado parao subconjunto dos dados. Em verde, pontos queestão dentro damargem deerro do modelo matemático, isto é, inliers. O melhor resultado encontrado é a iteração que apresenta 59 inliers. . . . . . . . . . . . . . . . 42 Figura 9 – Exemplo de k-vizinhos mais próximos mediano para os vértices a e d e h, onde k = 3 e a linha pontilhada representa o raio da mediana (hipotética). . . 45 Figura 10 – Exemplosde iteraçõesdo método GTM. Nas linhas, Gp correspondeao grafo demedianada imagem 1 eGp da imagem 2. Nascolunas, as iterações0, 5, 10 e 16, respectivamente, para as duas imagens. . . . . . . . . . . . . . . . 47 Figura 11 – Vérticevi, correspondidocomvi , eseusrespectivosk-vizinhosmaispróximos, onde k = 6. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 Figura 12 – Diagrama do princípio do vizinho-bilateral. . . . . . . . . . . . . . . . . . 51 Figura 13 – Ilustração do algoritmo SOCBV e seus respectivosgrafosk-nn medianos. . 53 Figura 14 – Metodologia desenvolvida. . . . . . . . . . . . . . . . . . . . . . . . . . . 58 Figura 15 – Conjunto de pontoscorrespondidos. O ponto pi está correspondido com o ponto pi. O ponto p5 é um outlier . . . . . . . . . . . . . . . . . . . . . . . 58 Figura 16 – Cada conjunto de ponto é representado como um grafo completo. . . . . . . 58 Figura 17 – Os pesosdas arestas são dados pela distância (Equação 4.1) entre osvértices. 59 Figura 18 – O peso de cada grafo é normalizado por seu valor médio (Equação 4.2). . . 59 Figura 19 – Exemplo de aplicação da Equação 4.3 para um único vértice. . . . . . . . . 60 Figura 20 – Experimentos realizados. . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Figura 21 – Comparação de medidas com e sem o pré-processamento FOMP, considerando asporcentagensdeoutliersmanualmenteadicionadosparaabasede imagens com movimentos de câmera. A legenda no gráfico de precisão é também válida para osdemaisgráficos. . . . . . . . . . . . . . . . . . . . . 66 Figura 22 – Exemplo de resultadosparaparesde imagenscom 85% deoutliersparaas base de imagens: Movimentos de câmera. . . . . . . . . . . . . . . . . . . 67 Figura 23 – Comparação de medidas com e sem o pré-processamento FOMP, considerando asporcentagensdeoutliersmanualmenteadicionadosparaabasede imagens com correspondências ambíguas. A legendano gráfico de precisão é também válida paraosdemaisgráficos. . . . . . . . . . . . . . . . . . . . 68 Figura 24 – Exemplo de resultadosparaparesde imagenscom 85% deoutliersparaas base de imagens: Correspondênciasambiguas. . . . . . . . . . . . . . . . . 69 Figura 25 – Comparação de medidas com e sem o pré-processamento FOMP, considerando asporcentagensdeoutliersmanualmenteadicionadosparaabasede imagenscom objetosdeformados. A legendado gráfico precisão é também válida para os demaisgráficos. . . . . . . . . . . . . . . . . . . . . . . . . 70 Figura 26 – Exemplo de resultadosparaparesde imagenscom 85% deoutliersparaas base de imagens: Objetosdeformados. . . . . . . . . . . . . . . . . . . . . 71 Figura 27 – Comparação de medidas com e sem o pré-processamento FOMP, considerando as porcentagens de outliers manualmente adicionados para a base de imagens com transformações afim. A legenda do gráfico de precisão é também válida para osdemaisgráficos. . . . . . . . . . . . . . . . . . . . . 72 Figura 28 – Exemplo de resultadosparaparesde imagenscom 85% deoutliersparaas base de imagens: Transformações afim. . . . . . . . . . . . . . . . . . . . . 73 Figura 29 – Incrementos na quantidade de correspondências corretas (inliers). Ambos osgráficos mostram valoresmédios para todos osexperimentos, ou seja, 35 pares de imagens, totalizando 7:000 execuções para cada porcentagem de outlier. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 Figura 30 – Valoresderevocação eespecificidadeparavariaçõesno valor do parâmetro a do algoritmo FOMP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 Figura 31 – Imagens com aplicação do filtro Gaussiano em diferentes escalase o cálculo da Diferença de Gaussianas DoG entre pares de imagensadjacentes. . . . 91 Figura 32 – Na esquerda, exemplo de aplicação de 5 filtros gaussianos em 4 escalas (oitavas). Na direita, resultado da DoG para as imagens borradas. . . . . . . 92 Figura 33 – Detecção de máximo/mínimo local, o pixel marcado com × é comparado com seus 26-vizinhos numa vizinhança de 3× 3× 3 que fazem parte das imagens DoG adjacentes. . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 Figura 34 – Detecçãodeorientação dominanteno métodoSIFT. A orientaçãoemagnitude do gradiente são usados para compor a orientação do CP, um histograma de orientaçõesé criado, o pico mais alto é detectado e qualquer outro pico queestiver 20% abaixo do maior pico éusado paracompor aorientação. Se houver mais de uma orientação (pico) com a mesmamagnitude, múltiplos CPs são criadosnamesma localização, porém com orientações diferentes. . 93 Figura35 – O descritor écriado paracadaCPcalculando-seamagnitudedo gradienteea orientação ao seu redor. Essespontosao redor são ponderadospor umajanela Gaussiana (como mostra o círculo à esquerda). Então é feita uma divisão em janelas de 4× 4 ao redor do ponto de interesse (centro). Desta forma, é feita uma sumarização acumulando-se o conteúdo de cada janela, como é mostrado à direita. Neste exemplo é usado um descritor 2× 2 calculado a partir de uma janela 8× 8. Porém, o método SIFT é implementado, na prática, em umajanela16× 16 queproduz um descritor 4× 4. . . . . . . . 94 Figura36 – Passosnaconstrução da matriz SAT. Índices forada fronteirasão considerados como zero. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 Figura37 – Aplicação daEquação A.7 parao cálculo da imagem integral em um dado retângulo ABCD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 Figura38 – Filtrosaproximados para o cálculo das derivadas parciaisde segunda ordem, sendo é possível usar a SAT para o cálculo da convolução do filtro com a imagem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 Figura 39 – Tamanhosdos filtros e espaço-escala do algoritmo SURF. . . . . . . . . . . 96 Figura 40 – Cálculo da direção dominante de um ponto de interesse no algoritmo SURF. 97 Figura 41 – Exemplosde CPs detectadospelo SURF e extração de características. . . . 98 LISTA DE ALGORITM OS Algoritmo 1 – RANSAC. Adaptado de Fischler e Bolles (1981) . . . . . . . . . . . . . 43 Algoritmo 2 – GTM, adaptado de Aguilar et al. (2009). . . . . . . . . . . . . . . . . . 46 Algoritmo 3 – WGTM, adaptado de Izadi e Saeedi (2012). . . . . . . . . . . . . . . . . 48 Algoritmo 4 – SOCBV, adaptado de Meng, Li e Pei (2015). . . . . . . . . . . . . . . . 54 Algoritmo 5 – Filtering out Outliers fromMatched Points– FOMP. . . . . . . . . . . . 61