On the Practice of Rescaling Covariates

Sylvain Sardy

International Statistical Review, 2008, vol. 76, issue 2, 285-297

Abstract: Whether doing parametric or nonparametric regression with shrinkage, thresholding, penalized likelihood, Bayesian posterior estimators (e.g., ridge regression, lasso, principal component regression, waveshrink or Markov random field), it is common practice to rescale covariates by dividing by their respective standard errors ρ. The stated goal of this operation is to provide unitless covariates to compare like with like, especially when penalized likelihood or prior distributions are used. We contend that this vision is too simplistic. Instead, we propose to take into account a more essential component of the structure of the regression matrix by rescaling the covariates based on the diagonal elements of the covariance matrix Σ of the maximum‐likelihood estimator. We illustrate the differences between the standard ρ‐ and proposed Σ‐rescalings with various estimators and data sets. Que l'on utilise un modèle de régression paramétrique ou non‐paramétrique, par rétrécissement, seuillage, vraisemblance pénalisée ou Bayesien (ex. régression ridge, lasso, régression en composantes principales, waveshrink, champ Markovien), il est commun de standardiser les variables explicatives en les divisant par leurs écarts types ρ respectifs. Le but affiché de cette opération est de créer des variables sans unités pour pouvoir les comparer entre elles, en particulier quand l'estimateur est basé sur la vraisemblance pénalisée ou une distribution a priori. Nous attendons prouver que cette vision est trop simpliste. Nous proposons de plutôt considérer un élément plus essentiel de la matrice de régression en standardisant les variables explicatives à partir des éléments diagonaux de la matrice de covariance Σ de l'estimateur du maximum de vraisemblance. Nous illustrons les différences entre la standardisation ρ et la standarisation Σ avec des estimateurs et des données variés. Mots clés: champ markovien, distribution a priori ℓη, lasso, ondelettes, régression en composantes principales, régression ridge.

Date: 2008
References: View references in EconPapers View complete reference list from CitEc
Citations: View citations in EconPapers (4)

Downloads: (external link)
https://doi.org/10.1111/j.1751-5823.2008.00050.x

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:bla:istatr:v:76:y:2008:i:2:p:285-297

Ordering information: This journal article can be ordered from
http://www.blackwell ... bs.asp?ref=0306-7734

Access Statistics for this article

International Statistical Review is currently edited by Eugene Seneta and Kees Zeelenberg

More articles in International Statistical Review from International Statistical Institute Contact information at EDIRC.
Bibliographic data for series maintained by Wiley Content Delivery ().