Проклятие размерности

Проклятие размерности (curse of dimensionality) — термин, который был введенн Ричардом Беллманом в 1957 году, описывающий феномены сложности анализа и организации данных в пространствах высокой размерности.

Проклятие размерности в нейронных сетях

Частный случай проклятия размерности - проклятие размерности в нейронных сетях при работе с данными, у которых очень много признаков или параметров.

Его характер сводится к тому, что, чем больше параметров анализирует нейронная сеть, тем более разрежены получаемые сетью входные данные, если их представить как точки в многомерном фазовом пространстве. В результате, для обучения сети начинает требоваться слишком много данных, так как на малом их количестве многослойный перцептрон оказывается не в состоянии обнаружить какие-либо закономерности.