Artificial Neural Network Generalization and Simplification via Pruning/ Mākslīgo neironu tīklu vispārināšana un vienkāršošana, izmantojot samazināšanu/ Обобщение и упрощение искусственных нейронных сетей через урезание

Bondarenko Andrey () and Borisov Arkady ()
Additional contact information
Bondarenko Andrey: CTCo Ltd.
Borisov Arkady: Riga Technical University

Information Technology and Management Science, 2014, vol. 17, issue 1, 132-137

Abstract: В данный момент мы наблюдаем второй ренессанс искусственных нейронных сетей (ИНС). Причина этого - успехи в области глубокого обучения. На данный момент стало возможным обучение многослойных сетей на больших объемах данных. Однако, как и прежде, ограничением к использованию ИНС является то, что данный вид модели является черным ящиком, не дающим объяснения, как проводится классификация и какие факторы и как влияют на результат классификации. Другой проблемой при использовании ИНС является подбор гиперпараметров сети. Один из них - архитектура сети значительно влияет на обобщающие возможности ИНС. Как для формализации модели (извлечение правил), так и для упрощения сети и частично увеличения обобщающих возможностей проводят обучение излишне большой сети с последующим урезанием, либо обучение маленькой сети с последующим добавлением нейронов. В данной статье приведен обзор методов урезания. Рассмотрены такие подходы, как: анализ чувствительности, методы на основе штрафа, методы распада весов нейроных связей, интерактивного урезания, автоурезания и другие. В данной статье предложен и рассмотрен алгоритм урезания сети на примере данных из UCI репозитория на основе удаления и, по необходимости, возврата нейронов в сеть. Нейронная сеть - многослойный персептрон, обученный при помощи обратного распространения ошибки. Алгоритм обладает критерием остановки. Полученные результаты говорят о том, что в зависимости от сложности данных модель ИНС может быть значительно упрощена и обобщена. Зачастую урезание уменьшает классификационную ошибку. Полученные ИНС во всех случаях становятся меньше оригинальной сети и могут быть использованы для извлечения правил.

Date: 2014
References: View complete reference list from CitEc
Citations:

Downloads: (external link)
https://doi.org/10.1515/itms-2014-0020 (text/html)

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:vrs:itmasc:v:17:y:2014:i:1:p:132-137:n:20

DOI: 10.1515/itms-2014-0020

Access Statistics for this article

Information Technology and Management Science is currently edited by J. Merkurjevs

More articles in Information Technology and Management Science from Sciendo
Bibliographic data for series maintained by Peter Golla ().