Optimal Binary Classification

Rachidi Kotchoni

CIRANO Working Papers from CIRANO

Abstract: It is shown that the Mean Integrated Square Error (MISE) of a binary classifier is a weighted average of its probabilities of type I (α) and type II errors (β). This provides a foundation for minimizing a linear cost function consisting of a weighted average of α and β to design an optimal classifier. Such a cost function is shown to have the interpretation of a MISE of the classifier under a subjective probability distribution. We derive the closed-form expression of the optimal α for the mean test, provide an equation that can be solved numerically to find the optimal cutoff of the Probit classifier, and illustrate the relevance of the results by simulation. In general, the optimal α for a significance test is different from the conventional 0.05 or 0.01 and the optimal cut-off for probabilistic classifiers deviates from 0.5. Nous démontrons que l'erreur quadratique moyenne intégrée (EQMI) d'un classificateur binaire est une moyenne pondérée de ses probabilités d'erreurs de type I (α) et de type II (β). Ceci justifie la minimisation d’une fonction de coût linéaire, consistant en une moyenne pondérée de α et β, pour l’obtention d’un classificateur optimal. Une telle fonction de coût peut s’interpréter comme une EQMI du classificateur sous une distribution de probabilité subjective. Nous établissons l'expression analytique du α optimal pour le test de la moyenne, fournissons une équation résoluble numériquement pour la détermination du seuil optimal du classificateur Probit, et illustrons les résultats par simulation. En général, le α optimal pour un test de significativité est différent de 0,05 ou 0,01 utilisé conventionnellement, et le seuil optimal des classificateurs probabilistes est différent de 0,5.

Keywords: Binary Classification; Hypothesis Testing; Mean Integrated Square Error; Probit; Subjective probabilities; Classification binaire; Tests d’hypothèses; Erreur quadratique moyenne intégrée; Probit; Probabilités subjectives (search for similar items in EconPapers)
Date: 2025-11-04
References: View references in EconPapers View complete reference list from CitEc
Citations:

Downloads: (external link)
https://cirano.qc.ca/files/publications/2025s-30.pdf

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:cir:cirwor:2025s-30

Access Statistics for this paper

More papers in CIRANO Working Papers from CIRANO Contact information at EDIRC.
Bibliographic data for series maintained by Webmaster ().