Spectral Clustering and Kernel PCA are Learning Eigenfunctions

Yoshua Bengio, Pascal Vincent and Jean-François Paiement

CIRANO Working Papers from CIRANO

Abstract: In this paper, we show a direct equivalence between spectral clustering and kernel PCA, and how both are special cases of a more general learning problem, that of learning the principal eigenfunctions of a kernel, when the functions are from a Hilbert space whose inner product is defined with respect to a density model. This defines a natural mapping for new data points, for methods that only provided an embedding, such as spectral clustering and Laplacian eigenmaps. The analysis also suggests new approaches to unsupervised learning in which abstractions such as manifolds and clusters that represent the main features of the data density are extracted. Dans cet article, on montre une équivalence directe entre la classification spectrale et l'ACP à noyau, et on montre que les deux sont des cas particuliers d'un problème plus général, celui d'apprendre les fonctions propres d'un noyau. Ces fonctions fournissent une base pour un espace de Hilbert dont le produit scalaire est défini par rapport à la densité des données. Les fonctions propres définissent une transformation de coordonnées naturelles pour de nouveaux points, alors que des méthodes comme la classification spectrale et les 'Laplacian eigenmaps' ne fournissaient un système de coordonnées que pour les exemples d'apprentissage. Cette analyse suggère aussi de nouvelles approches à l'apprentissage non-supervisé dans lesquelles on extrait des abstractions qui résument la densité des données, telles que des variétés et des classes naturelles.

Keywords: Unsupervised earning; clustering; manifold learning; eigenfunctions; non-linear dimensionality reduction; Apprentissage non-supervisé; agrégation; apprentissage d'espace; fonctions propres; réduction non-linéaire de dimensionnalité (search for similar items in EconPapers)
Date: 2003-05-01
References: Add references at CitEc
Citations: View citations in EconPapers (1)

Downloads: (external link)
https://cirano.qc.ca/files/publications/2003s-19.pdf

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:cir:cirwor:2003s-19

Access Statistics for this paper

More papers in CIRANO Working Papers from CIRANO Contact information at EDIRC.
Bibliographic data for series maintained by Webmaster ().