Locally Weighted Full Covariance Gaussian Density Estimation

Yoshua Bengio and Pascal Vincent

CIRANO Working Papers from CIRANO

Abstract: We describe an interesting application of the principle of local learning to density estimation. Locally weighted fitting of a Gaussian with a regularized full covariance matrix yields a density estimator which displays improved behavior in the case where much of the probability mass is concentrated along a low dimensional manifold. While the proposed estimator is not guaranteed to integrate to 1 with a finite sample size, we prove asymptotic convergence to the true density. Experimental results illustrating the advantages of this estimator over classic non-parametric estimators are presented. Nous décrivons une application du principe d'apprentissage local à l'estimation de densité. Le lissage pondéré localement d'une gaussienne utilisant une matrice de covariance pleine et régularisée conduit à un estimateur de densité ayant un comportement amélioré lorsque la masse de probabilité est concentrée le long d'une variété de basse dimension. Même si l'estimateur proposé n'est pas garanti d'intégrer à 1 sur un ensemble de données fini, nous prouvons la convergence asymptotique de la vraie densité. Les résultats expérimentaux illustrant les avantages de cet estimateur sur les estimateurs non paramétriques classiques sont présentés.

Keywords: density estimation; non-parametric models; manifold models; convergence of density estimators; estimation de densité; modèles non paramétriques; modèles de variétés; convergence des estimateurs de densité (search for similar items in EconPapers)
Date: 2004-05-01
New Economics Papers: this item is included in nep-ecm and nep-ets
References: View complete reference list from CitEc
Citations:

Downloads: (external link)
https://cirano.qc.ca/files/publications/2004s-29.pdf

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:cir:cirwor:2004s-29

Access Statistics for this paper

More papers in CIRANO Working Papers from CIRANO Contact information at EDIRC.
Bibliographic data for series maintained by Webmaster ().