Anomalies in the Foundations of Ridge Regression

Donald R. Jensen and Donald E. Ramirez

International Statistical Review, 2008, vol. 76, issue 1, 89-105

Abstract: Errors persist in ridge regression, its foundations, and its usage, as set forth in Hoerl & Kennard (1970) and elsewhere. Ridge estimators need not be minimizing, nor a prospective ridge parameter be admissible. Conventional estimators are not LaGrange's solutions constrained to fixed lengths, as claimed, since such solutions are singular. Of a massive literature on estimation, prediction, cross–validation, choice of ridge parameter, and related issues, little emanates from constrained optimization to include inequality constraints. The problem traces to a misapplication of LaGrange's Principle, unrecognized singularities, and misplaced links between constraints and ridge parameters. Alternative principles, based on condition numbers, are seen to validate both conventional ridge and surrogate ridge regression to be defined. Numerical studies illustrate that ridge regression as practiced often exhibits pathologies it is intended to redress. Les erreurs persistent dans la régression ridge, ses bases, et son utilisation, comme déterminé en Hoerl et Kennard (1970) et plus tard. Il ne faut ni que les estimateurs ridge se réduisent au minimum ni qu'un paramètre ridge soit admissible. Les estimateurs conventionnels ne sont pas les solutions de Lagrange contraintes aux longueurs fixes, comme souvent prétendu, car de telles solutions sont singulières. D'une littérature vaste—sur l'évaluation, la prévision, la validation croisée, le choix du paramètre ridge, et sujets alliés, sujets collectivement connus sous le nom de régression ridge—peu est issu de la minimisation contrainte, même vis à vis les contraintes d'inégalitié. Le problème remonte à une mauvaise application du principe de Lagrange, au manque d'identifier des singularités, et aux liens mal placés entre les contraintes et les paramè tres ridge. Des principes alternatifs, basés sur des numéraux de condition, peuvent être vus comme validant ridge conventionnelle et la régression de ridge succédanée, ce dernier àêtre défini. Les études numériques illustrent que la régression ridge, comme practiquée, montrent souvent des pathologies qu'il vise à redresser.

Date: 2008
References: View complete reference list from CitEc
Citations: View citations in EconPapers (7)

Downloads: (external link)
https://doi.org/10.1111/j.1751-5823.2007.00041.x

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:bla:istatr:v:76:y:2008:i:1:p:89-105

Ordering information: This journal article can be ordered from
http://www.blackwell ... bs.asp?ref=0306-7734

Access Statistics for this article

International Statistical Review is currently edited by Eugene Seneta and Kees Zeelenberg

More articles in International Statistical Review from International Statistical Institute Contact information at EDIRC.
Bibliographic data for series maintained by Wiley Content Delivery ().