Tesis doctoral de Jesús Manuel Maudes Raedo
Los multiclasificadores o ensembles son actualmente un área de interés dentro del reconocimiento de patrones. En esta tesis se presentan fundamentalmente tres métodos multiclasificadores: 1) el primer método: «cascadas para datos nominales» construye nuevas características numéricas en conjuntos de datos nominales, permitiendo que dichos datos puedan ser utilizados de forma adecuada por clasificadores que requieran entradas numéricas. La construcción de nuevas características se hace mediante las predicciones hechas por otro clasificador, dando así lugar a una configuración de cascada. Este tipo de cascada es un tipo de clasificador de los que en la tesis se denomina de «dos niveles». En el nivel inferior está el clasificador que construye las características y en el superior el clasificador que las utiliza como entradas. El clasificador de nivel inferior ha de poder tratar directamente con datos nominales, como por ejemplo sería capaz un árbol de decisión. La salida del clasificador de nivel inferior es un vector de probabilidades, cuyas componentes expresan la probabilidad de que la instancia pertenezca a cada una de las clases. el método ha sido probado experimentalmente utilizando un árboles de decisión c4.5 en el nivel inferior y un svm de kernel lineal en el nivel superior, mejorando los resultados respecto a estos clasificadores en solitario y otras posibles configuraciones de clasificadores de dos niveles, como por ejemplo stacking y grading. 2) el segundo método: «disturbing neighbors» o dn sirve para hacer que los clasificadores base pertenecientes a un multiclasificador sean más diversos, mejorando así en la tasa de acierto de sus predicciones. La diversidad es una medida de lo distintas que son las predicciones de los clasificadores base. Si las predicciones de éstos siempre coincidieran, no tendría sentido combinarlos en un multiclasificador. Dn perturba el entrenamiento de los clasificadores base mediante la construcción de un pequeño conjunto de características adicionales. Estas características proceden de un clasificador de tipo 1-nn construido con un número muy reducido de vecinos elegidos al azar. Estos vecinos son distintos para clasificador base, y además cada 1-nn sólo toma en cuenta una parte de las dimensiones del problema (también seleccionadas aleatoriamente) a la hora de calcular las distancias euclideas. La salida de cada 1-nn es su predicción junto un vector booleano que expresa a qué region de voronoi pertenece la instancia. Todo ello, permite construir 1-nn distintos, y por tanto clasificadores base distintos. dn ha sido probado en multiclasificadores que utilizaron como clasificadores base svm y árboles de decisión c4.5, si bien admite cualquier otro método base. Dn puede utilizarse además en muchos multiclasificadores del estado del arte como bagging, boosting o random subspaces, mejorando experimentalmente los resultados respecto de la versión pura. la tesis incorpora un análisis de lesiones que pone de manifiesto que el vector de booleanos que representa la pertenencia de las instancias a las regiones de voronoi es el ingrediente esencial del método. 3) el tercer método: «random feature weights» o rfw, es un método que como el anterior debe su éxito a una mejora en la diversidad, pero que sin embargo únicamente puede utilizarse con multiclasificadores basados en árboles de decisión. Los árboles de decisión deciden el atributo por el que bifurcar cada nodo a partir del resultado de una función de mérito, que por ejemplo en el caso de los árboles c4.5 está basado en la ganancia de información; de manera que en cada nodo se elige el atributo que presenta mejor valor para la función de mérito. Rfw multiplica por un número aleatorio distinto a la salida de la función de mérito correspondiente a cada atributo, con lo que influye en el proceso de construcción del árbol. El número aleatorio por el que se multiplica la función de mérito de cada atributo es el mismo para todos los nodos del árbol y se eleva a un exponente que es el único parámetro del método. Cuanto mayor es el exponente más se altera el proceso normal de construcción del árbol. la combinación de este tipo de árboles mediante un simple esquema de voto por mayoría ya permite experimentalmente obtener unos resultados competitivos con otros multiclasificadores del estado del arte como random forests, random subspaces, bagging y boosting. Además el método es significativamente mejor que casi todos estos métodos cuando a los datos de la validación experimental se les introduce ruido artificial. rfw sólo actúa sobre la construcción de los árboles, por lo que puede ser utilizado como parte del esquema de combinación de los mismos multiclasificadores contra los que ha competido en la validación experimental anteriormente referida, mejorando generalmente la versión con rfw a la versión pura. además de los tres métodos propuestos, la tesis aporta dos nuevos tipos de diagramas para representar la posible ganancia de diversidad y/o acierto de los clasificadores base de dos multiclasificadores que se quieran comparar. Estos diagramas son los diagramas de movimiento kappa-error y los diagramas de movimiento relativo kappa-error.
Datos académicos de la tesis doctoral «Combinación de clasificadores: construcción de características e incremento de la diversidad«
- Título de la tesis: Combinación de clasificadores: construcción de características e incremento de la diversidad
- Autor: Jesús Manuel Maudes Raedo
- Universidad: Burgos
- Fecha de lectura de la tesis: 04/10/2010
Dirección y tribunal
- Director de la tesis
- Juan José Rodríguez Diez
- Tribunal
- Presidente del tribunal: pedro Larrañaga mugica
- nicolás García pedrajas (vocal)
- colin Fyfe (vocal)
- Carlos Javier Alonso gonzalez (vocal)