Affine Feedforward Stochastic (AFS) Neural Network

Christian Gourieroux and Alain Monfort ()
Additional contact information
Christian Gourieroux: University of Toronto, TSE-R - Toulouse School of Economics - UT Capitole - Université Toulouse Capitole - Comue de Toulouse - Communauté d'universités et établissements de Toulouse - EHESS - École des hautes études en sciences sociales - CNRS - Centre National de la Recherche Scientifique - INRAE - Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement, CREST - Centre de Recherche en Économie et Statistique - ENSAI - Ecole Nationale de la Statistique et de l'Analyse de l'Information [Bruz] - GENES - Groupe des Écoles Nationales d'Économie et Statistique - X - École polytechnique - IP Paris - Institut Polytechnique de Paris - ENSAE Paris - École Nationale de la Statistique et de l'Administration Économique - GENES - Groupe des Écoles Nationales d'Économie et Statistique - IP Paris - Institut Polytechnique de Paris - CNRS - Centre National de la Recherche Scientifique
Alain Monfort: CREST - Centre de Recherche en Économie et Statistique - ENSAI - Ecole Nationale de la Statistique et de l'Analyse de l'Information [Bruz] - GENES - Groupe des Écoles Nationales d'Économie et Statistique - X - École polytechnique - IP Paris - Institut Polytechnique de Paris - ENSAE Paris - École Nationale de la Statistique et de l'Administration Économique - GENES - Groupe des Écoles Nationales d'Économie et Statistique - IP Paris - Institut Polytechnique de Paris - CNRS - Centre National de la Recherche Scientifique

Working Papers from HAL

Abstract: The aim of this paper is to link the machine learning method of multilayer perceptron (MLP) neural network with the classical analysis of stochastic state space models. We consider a special class of state space models with multiple layers based on affine conditional Laplace transforms. This new class of Affine Feedforward Stochastic (AFS) neural network provides closed form recursive formulas for recursive filtering of the state variables of different layers. This approach is suitable for online inference by stochastic gradient ascent optimization and for recursive computation of scores such as backpropagation. The approach is extended to recurrent neural networks and identification issues are discussed.

Keywords: Perceptron; State space model; Laplace transform; Nonlinear prediction; Curse of dimensionality; Deep learning; Stochastic gradient descent; Indirect inference; Stochastic neural network (search for similar items in EconPapers)
Date: 2025-05
Note: View the original document on HAL open archive server: https://hal.science/hal-05280003v1
References: Add references at CitEc
Citations:

Downloads: (external link)
https://hal.science/hal-05280003v1/document (application/pdf)

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:hal:wpaper:hal-05280003

Access Statistics for this paper

More papers in Working Papers from HAL
Bibliographic data for series maintained by CCSD ().