Применение моделей математического программирования для решения проблемы XOR
Чернавин Павел Федорович, Чернавин Николай Павлович, Чернавин Федор Павлович
Уральский федеральный университет
Проблема XOR является классической проблемой машинного обучения. Большинство методов машинного обучения при решении проблемы XOR дает неудовлетворительные результаты. Попытки улучшения метрик качества решающих правил за счет перехода от линейных разделителей к полиномиальным или увеличения глубины и числа деревьев ухудшает интерпретируемость решения и может приводить к переобучению. Поэтому данную проблему обычно решают нейронными сетями с использованием метода обратного распространения ошибки. В настоящий момент времени актуален поиск альтернатив нейросетевому подходу к решению задач классификации и методу обратного распространения ошибки для обучения нейронных сетей. Такой альтернативой могут быть комитетные конструкции в виде задач математического программирования. Эффективность их применения во многом зависит от структуры исходных данных. Классические комитеты единогласия, большинства и старшинства позволяют достичь высоких метрик качества решающего правила только при относительно простой структуре данных, но при ряде структур они не эффективны. Возникает закономерный вопрос о существовании комитетов с принципиально другой логикой, но соответствующей определенной структуре данных, которая заранее не известна и ее надо определить. Вопрос существования новых комитетных конструкций является отдельной научной проблемой. Предлагается дополнить множество комитетных конструкций XOR-комитетом. В статье приводится его логика, геометрическая интерпретация, математическая модель, сравнение с метриками качества решения другими методами машинного обучения. Сведение задач классификации к четко формализованным комитетным конструкциям в виде задачам математического программирования предоставляет дополнительные возможности по управлению качеством решающего правила в процессе его построения, а не постфактум, как это происходит при использовании программ из стандартных библиотек для решения задач машинного обучения.
машинное обучение, проблема XOR, математическое программирование, классификация, комитетные конструкции