Rémi Flamary

Site web professionel

En flag English
En flag Français
En flag Zorglangue

Pages

Autres sites

Contact

todo qrcode

Adresse

Centre de Mathématiques Appliquées (CMAP)
École Polytechnique
Route de Saclay
91128 Palaiseau Cedex
FRANCE

SVM linéaires avec régularisation généralisée

$$ \def\w{\mathbf{w}} $$

Description

Cette toolbox est une implémentation des SVM linéaires couplés avec une large classe de régularisations possibles (l1, l2, norme mixte l1-lq, lasso adaptatif). Le code proposé fournit un algorithme de résolution de problèmes d'apprentissage dans un cadre monotâche ainsi que multitâche (sélection jointe de caractéristiques et promotion de similarité entre tâches).

Cette toolbox a été pensée pour des données denses, ce qui la différentie des autres implémentations de SVM linéaires qui se concentrent pour la plupart sur des données parcimonieuses (matrices creuses).

Ce code a été utilisé pour obtenir les résultats présentés dans le papier:

R. Flamary, N. Jrad, R. Phlypo, M. Congedo, A. Rakotomamonjy, Mixed-Norm Regularization for Brain Decoding, Computational and Mathematical Methods in Medicine, Vol. 2014, N. 1, pp 1-13, 2014.

[Abstract] [BibTeX] [DOI] [PDF] [Slides] [Code]

Abstract: This work investigates the use of mixed-norm regularization for sensor selection in event-related potential (ERP) based brain-computer interfaces (BCI). The classification problem is cast as a discriminative optimization framework where sensor selection is induced through the use of mixed-norms. This framework is extended to the multitask learning situation where several similar classification tasks related to different subjects are learned simultaneously. In this case, multitask learning helps in leveraging data scarcity issue yielding to more robust classifiers. For this purpose, we have introduced a regularizer that induces both sensor selection and classifier similarities. The different regularization approaches are compared on three ERP datasets showing the interest of mixed-norm regularization in terms of sensor selection. The multitask approaches are evaluated when a small number of learning examples are available yielding to significant performance improvements especially for subjects performing poorly.
BibTeX: 
@article{flamary2014mixed,
author = {Flamary, R. and Jrad, N. and Phlypo, R. and Congedo, M. and Rakotomamonjy, A.},
title = {Mixed-Norm Regularization for Brain Decoding},
journal = {Computational and Mathematical Methods in Medicine},
volume = {2014},
number = {1},
pages = {1-13},
editor = {},
year = {2014}
}

Problème d'optimisation

Nous proposons dans cette toolbox des méthodes générales de résolution de problèmes SVM linéaires à cout hinge au carré :

$$ \begin{equation*} \min_{\w,b} \sum_{i=1}^{n} \max(0,1-y_i(\mathbf{x}_i^T\w+b))^2 + \Omega(\w) \end{equation*} $$

où le terme de régularisation $\Omega(\w)$ peut être de la forme :

  • Norme l1 : $\Omega(\w)=\sum_i |w_i|$
  • Norme l2 (au carré ou non) : $\Omega(\w)=\sum_i |w_i|^2$
  • Norme mixte l1-l2 : $\Omega(\w)=\sum_g ||w_g||_2$ où $g$ désigne des groupes de variables
  • Norme mixte l1-lp ($1<p<2$ et $p=\infty$ ): $\Omega(\w)=\sum_g ||w_g||_p$
  • Norme mixte adaptative l1-l2: $\Omega(\w)=\sum_g \beta_g||w_g||_2$

Nous proposons également des fonctions permettant de résoudre les problèmes d'apprentissage multitâche. Elles permettent d'apprendre T tâches simultanément en faisant de la sélection jointe de variables et/ou en promouvant une similarité entre les tâches.

Cette toolbox est codée en Matlab et l'algorithme utilisé pour l'apprentissage est un algorithme de Forward-Backward Splitting qui a été proposé dans le papier FISTA

Téléchargement

Version courante : 1.0

Téléchargement : G-SVM.zip

Installation

Version rapide:

  • Ajouter tous les chemins et sous-chemins dans le path matlab.

Points d'entrée:

  • demo_gsvm.m : Fichier de démo montrant l'utilisation des fonctions d'apprentissage monotâche avec une norme mixte et une régularisation adaptative.
  • demo_mtl_gsvm.m : Fichier de démo montrant l'utilisation des fonctions d'apprentissage multitâche avec sélection jointe de caractéristiques.