Rémi Flamary

Site web professionel

SVM linéaires avec régularisation généralisée

Description

Cette toolbox est une implémentation des SVM linéaires couplés avec une large classe de régularisations possibles (l1, l2, norme mixte l1-lq, lasso adaptatif). Le code proposé fournit un algorithme de résolution de problèmes d'apprentissage dans un cadre monotâche ainsi que multitâche (sélection jointe de caractéristiques et promotion de similarité entre tâches).

Cette toolbox a été pensée pour des données denses, ce qui la différentie des autres implémentations de SVM linéaires qui se concentrent pour la plupart sur des données parcimonieuses (matrices creuses).

Ce code a été utilisé pour obtenir les résultats présentés dans le papier:

R. Flamary, N. Jrad, R. Phlypo, M. Congedo, A. Rakotomamonjy, "Mixed-Norm Regularization for Brain Decoding", Computational and Mathematical Methods in Medicine, Vol. 2014, N. 1, pp 1-13, 2014.

Abstract: This work investigates the use of mixed-norm regularization for sensor selection in event-related potential (ERP) based brain-computer interfaces (BCI). The classification problem is cast as a discriminative optimization framework where sensor selection is induced through the use of mixed-norms. This framework is extended to the multitask learning situation where several similar classification tasks related to different subjects are learned simultaneously. In this case, multitask learning helps in leveraging data scarcity issue yielding to more robust classifiers. For this purpose, we have introduced a regularizer that induces both sensor selection and classifier similarities. The different regularization approaches are compared on three ERP datasets showing the interest of mixed-norm regularization in terms of sensor selection. The multitask approaches are evaluated when a small number of learning examples are available yielding to significant performance improvements especially for subjects performing poorly.
BibTeX:
@article{flamary2014mixed,
author = {Flamary, R. and Jrad, N. and Phlypo, R. and Congedo, M. and Rakotomamonjy, A.},
title = {Mixed-Norm Regularization for Brain Decoding},
journal = {Computational and Mathematical Methods in Medicine},
volume = {2014},
number = {1},
pages = {1-13},
editor = {},
year = {2014}
} 

Problème d'optimisation

Nous proposons dans cette toolbox des méthodes générales de résolution de problèmes SVM linéaires à cout hinge au carré :

0214668fa1f5bd0e9ba71e09d5cdeefc
où le terme de régularisation 528871813706c0b8e8f55db15bb9feb4 peut être de la forme :

  • Norme l1 : b03e62430b7c01402f0d69a22669a69b
  • Norme l2 (au carré ou non) : 1f7f482c8227011ea07e7056241ffd6c
  • Norme mixte l1-l2 : f1cb3dbba3c5cab3302e9eb66ad74933b2f5ff47436671b6e533d8dc3614845d désigne des groupes de variables
  • Norme mixte l1-lp (3ce4a4628c47343eb78d49c32a8cbe15 et 71780b661c1b3647ddd29ec0f4dfb059 ): df775be13552c7523adff9d0e07e9c32
  • Norme mixte adaptative l1-l2: 1d25c577670fd6cb6e02c5c5b9437f0a

Nous proposons également des fonctions permettant de résoudre les problèmes d'apprentissage multitâche. Elles permettent d'apprendre T tâches simultanément en faisant de la sélection jointe de variables et/ou en promouvant une similarité entre les tâches.

Cette toolbox est codée en Matlab et l'algorithme utilisé pour l'apprentissage est un algorithme de Forward-Backward Splitting qui a été proposé dans le papier FISTA

Téléchargement

Version courante : 1.0

Téléchargement : G-SVM.zip

Installation

Version rapide:

  • Ajouter tous les chemins et sous-chemins dans le path matlab.

Points d'entrée:

  • demo_gsvm.m : Fichier de démo montrant l'utilisation des fonctions d'apprentissage monotâche avec une norme mixte et une régularisation adaptative.
  • demo_mtl_gsvm.m : Fichier de démo montrant l'utilisation des fonctions d'apprentissage multitâche avec sélection jointe de caractéristiques.