Penalized Regression with Ordinal Predictors

Jan Gertheiss and Gerhard Tutz

International Statistical Review, 2009, vol. 77, issue 3, 345-365

Abstract: Ordered categorial predictors are a common case in regression modelling. In contrast to the case of ordinal response variables, ordinal predictors have been largely neglected in the literature. In this paper, existing methods are reviewed and the use of penalized regression techniques is proposed. Based on dummy coding two types of penalization are explicitly developed; the first imposes a difference penalty, the second is a ridge type refitting procedure. Also a Bayesian motivation is provided. The concept is generalized to the case of non‐normal outcomes within the framework of generalized linear models by applying penalized likelihood estimation. Simulation studies and real world data serve for illustration and to compare the approaches to methods often seen in practice, namely simple linear regression on the group labels and pure dummy coding. Especially the proposed difference penalty turns out to be highly competitive. Les variables indépendantes catégoriques ordinales sont un cas courant dans les modèles de régression. Contrairement au cas des variables dépendantes ordinales, les variables indépendantes ordinales ont été largement négligées par la recherche. Le présent article présente les méthodes existantes et propose l'utilisation de techniques de régression pénalisée. Deux types de pénalisation basés sur des variables dummy sont exposés; le premier impose une pénalité de différence, le second est une procédure basée sur une forme de régression ridge. D'autre part, une motivation baysienne est présentée. La méthode est également appliquée au cas de variables dépendantes non gaussiennes. Des études de simulation et des données réelles servent à illustrer et à comparer les nouvelles méthodes aux méthodes que l'on rencontre souvent dans la pratique ‐ à savoir les régressions linéaires sur les nombres entiers et sur des variables dummy sans penalité. Une pénalité de différence notamment a montré de bons résultats.

Date: 2009
References: View references in EconPapers View complete reference list from CitEc
Citations: View citations in EconPapers (9)

Downloads: (external link)
https://doi.org/10.1111/j.1751-5823.2009.00088.x

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:bla:istatr:v:77:y:2009:i:3:p:345-365

Ordering information: This journal article can be ordered from
http://www.blackwell ... bs.asp?ref=0306-7734

Access Statistics for this article

International Statistical Review is currently edited by Eugene Seneta and Kees Zeelenberg

More articles in International Statistical Review from International Statistical Institute Contact information at EDIRC.
Bibliographic data for series maintained by Wiley Content Delivery ().