Tesis doctoral de Enric Farguell Matesanz
La máquina de boltzmann (mb) es una red neuronal estocástica con la habilidad de aprender y extrapolar distribuciones de probabilidad. Sin embargo, nunca ha llegado a ser tan popular como otros modelos de redes neuronals como, por ejemplo, el perceptrón. Esto es debido a la complejidad tanto del proceso de simulación como de aprendizaje: las cantidades que se necesitan a lo largo del proceso de aprendizaje se estiman mediante el uso de técnicas monte carlo (mc), a través del algoritmo del temple simulado (sa). En definitiva, la mb es generalmente considerada o bien una extensión de la red de hopfield o bien como una implementación paralela del algoritmo del sa. pese a esta relativa falta de éxito, la comunidad científica del ámbito de las redes neuronales ha mantenido un cierto interés en el modelo. Una importante extensión es la mí quina de boltzmann de alto orden (hobm), en la que los pesos pueden conectar más de dos neuronas a la vez. Pese a que este modelo ha sido analizado en profundidad por otros autores, todavía no se ha descrito una equiValencia formal entre los pesos de una mb i las conexiones de alto orden de una hobm. en este trabajo se ha analizado la equiValencia entre una mb i una hobm, a través de la extensión del método conocido como decimación. La decimación es una herramienta propia de la física estadística que también puede ser aplicada a ciertos modelos de mb, obteniendo expresiones analíticas para el cálculo de las cantidades necesarias en el algoritmo de aprendizaje. Por lo tanto, la decimación evita el alto coste computacional asociado al al uso del costoso algoritmo del sa. Pese a esto, en su forma original la decimación tan solo podía ser aplicada a ciertas topologías de mb, distinguidas por ser poco densamente conectadas. La extensión definida en este trabajo permite calcular estos valores independientemente de la topología de la red neuronal: este modelo se basa en añadir suficientes pesos de alto orden a una mb estándar como para asegurar que las ecuaciones de decimación pueden solucionarse. más adelante, se establece una equiValencia directa entre los pesos de un modelo de alto orden, la distribución de probabilidad que puede aprender y las matrices tipo hadamard. Las propiedades de este tipo de matrices se pueden usar para calcular fácilmente los pesos del sistema. Finalmente, se define una bm estándar con una topología específica que permite entender mejor la equiValencia exacta entre neuronas ocultas en la mb y los pesos de alto orden de la hobm.
Datos académicos de la tesis doctoral «A new approach to decimation in high order boltzmann machines«
- Título de la tesis: A new approach to decimation in high order boltzmann machines
- Autor: Enric Farguell Matesanz
- Universidad: Ramón llull
- Fecha de lectura de la tesis: 20/01/2011
Dirección y tribunal
- Director de la tesis
- Ferran Mazzanti Castrillejo
- Tribunal
- Presidente del tribunal: stanislaw Jankowski
- sergio Gomez jimenez (vocal)
- jordi Delgado pin (vocal)
- marco Balsi (vocal)