Título: Funciones de pérdida clasificadas calibradas para problemas multiclase
Ponente: Irene Rodríguez Luján
Fecha: 21/01/2016 12:30h
Lugar: Sala de Seminarios, edificio Torretamarit
Resumen:
Al comienzo del seminario se realizará una introducción al campo del aprendizaje automático (machine learning) que abordará los conceptos fundamentales de la teoría del aprendizaje estadístico y las máquinas de vectores de soporte (Support Vector Machines, SVMs). Seguidamente, se presentarán los resultados del trabajo “A Fisher consistent multiclass loss function with variable margin on positive examples.” Electronic Journal of Statistics 9.2 (2015): 2255-2292.
El concepto de consistencia Fisher punto a punto, equivalentemente clasificación calibrada, determina las condiciones necesarias y suficientes para tener consistencia Bayesiana cuando un clasificador minimiza una función de pérdida subrogada en lugar de la función de pérdida 0-1. En esta charla se presentará una nueva familia de funciones de pérdida de tipo bisagra (hinge) definidas por un parámetro de control λ que representa el margen de los puntos pertenecientes a la clase positiva. El parámetro λ determina las propiedades de la función de pérdida en términos de su consistencia Fisher punto a punto.
Aunque resultados previos en la literatura sugieren que incrementar el margen de los puntos positivos es beneficioso para el entrenamiento del clasificador, no existen funciones de pérdida multiclase capaces de dar un alto peso al margen de los puntos positivos sin perder sus propiedades de calibración. Sin embargo, la familia de funciones de pérdida regulada por el parámetro λ puede asignar un peso arbitrariamente alto al margen de los puntos positivos manteniendo las propiedades de consistencia Fisher punto a punto. Además, cuando estas nuevas funciones de pérdida se integran en el formalismo de las máquinas de vectores de soporte (λ-SVMs), el parámetro λ define diferentes regiones de las condiciones de Karush-Kuhn-Tucker, obteniéndose para valores altos de λ menores tiempos de entrenamiento que otras funciones de pérdida clasificadas calibradas. Resultados empíricos en el uso del modelo λ-SVM con diferentes bases de datos no solo corroboran el análisis teórico anterior, sino que también muestran la eficacia del algoritmo en términos de acierto en clasificación y tiempos de entrenamiento.
Breve Bio:
La Dra. Irene Rodríguez Luján se graduó en Ingeniería Informática y Matemáticas en la Universidad Autónoma de Madrid, doctorándose en Ingeniería Informática por la misma universidad en 2012. Entre 2005 y 2011 colaboró con el Instituto de Ingeniería del Conocimiento,y entre 2011 y 2013 trabajó como investigadora en el Grupo de Biometría, Bioseñales y Seguridad de la Universidad Politécnica de Madrid. Durante los años 2013 y 2014 fue investigadora postdoctoral en el BioCircuits Institute de la Universidad de California San Diego (UCSD). Desde 2015 ocupa un puesto de Profesor Ayudante Doctor en el grupo de Aprendizaje Automático del Departamento de Ingeniería Informática de la Universidad Autónoma de Madrid. Sus intereses se centran en el ámbito del reconocimiento de patrones y sus aplicaciones prácticas en dominios tales como la bioinformática o narices electrónicas, entre otros.
Ponente: Irene Rodríguez Luján
Fecha: 21/01/2016 12:30h
Lugar: Sala de Seminarios, edificio Torretamarit
Resumen:
Al comienzo del seminario se realizará una introducción al campo del aprendizaje automático (machine learning) que abordará los conceptos fundamentales de la teoría del aprendizaje estadístico y las máquinas de vectores de soporte (Support Vector Machines, SVMs). Seguidamente, se presentarán los resultados del trabajo “A Fisher consistent multiclass loss function with variable margin on positive examples.” Electronic Journal of Statistics 9.2 (2015): 2255-2292.
El concepto de consistencia Fisher punto a punto, equivalentemente clasificación calibrada, determina las condiciones necesarias y suficientes para tener consistencia Bayesiana cuando un clasificador minimiza una función de pérdida subrogada en lugar de la función de pérdida 0-1. En esta charla se presentará una nueva familia de funciones de pérdida de tipo bisagra (hinge) definidas por un parámetro de control λ que representa el margen de los puntos pertenecientes a la clase positiva. El parámetro λ determina las propiedades de la función de pérdida en términos de su consistencia Fisher punto a punto.
Aunque resultados previos en la literatura sugieren que incrementar el margen de los puntos positivos es beneficioso para el entrenamiento del clasificador, no existen funciones de pérdida multiclase capaces de dar un alto peso al margen de los puntos positivos sin perder sus propiedades de calibración. Sin embargo, la familia de funciones de pérdida regulada por el parámetro λ puede asignar un peso arbitrariamente alto al margen de los puntos positivos manteniendo las propiedades de consistencia Fisher punto a punto. Además, cuando estas nuevas funciones de pérdida se integran en el formalismo de las máquinas de vectores de soporte (λ-SVMs), el parámetro λ define diferentes regiones de las condiciones de Karush-Kuhn-Tucker, obteniéndose para valores altos de λ menores tiempos de entrenamiento que otras funciones de pérdida clasificadas calibradas. Resultados empíricos en el uso del modelo λ-SVM con diferentes bases de datos no solo corroboran el análisis teórico anterior, sino que también muestran la eficacia del algoritmo en términos de acierto en clasificación y tiempos de entrenamiento.
Breve Bio:
La Dra. Irene Rodríguez Luján se graduó en Ingeniería Informática y Matemáticas en la Universidad Autónoma de Madrid, doctorándose en Ingeniería Informática por la misma universidad en 2012. Entre 2005 y 2011 colaboró con el Instituto de Ingeniería del Conocimiento,y entre 2011 y 2013 trabajó como investigadora en el Grupo de Biometría, Bioseñales y Seguridad de la Universidad Politécnica de Madrid. Durante los años 2013 y 2014 fue investigadora postdoctoral en el BioCircuits Institute de la Universidad de California San Diego (UCSD). Desde 2015 ocupa un puesto de Profesor Ayudante Doctor en el grupo de Aprendizaje Automático del Departamento de Ingeniería Informática de la Universidad Autónoma de Madrid. Sus intereses se centran en el ámbito del reconocimiento de patrones y sus aplicaciones prácticas en dominios tales como la bioinformática o narices electrónicas, entre otros.