Теоретическое лечение немеченых образцов

Question

В типичных контролируемых условиях обучения с несколькими положительными и несколькими отрицательными примерами ясно, что немеченые данные несут некоторую информацию, которая может принести пользу обучению, и которая не получена в маркированных данных. Например, можно оценить средние значения, границы и некоторые другие геометрические характеристики набора данных с гораздо более высокой точностью, если вы не отказываете от (массивных) немеченых данных.

С другой стороны, наиболее распространенные алгоритмы ML от нейронных сетей до SVM не используют эту информацию (по крайней мере, в их стандартной, наиболее распространенной форме). Мой вопрос:

• Есть ли какие -либо теоретические основы, где немеченые данные обрабатываются в контролируемых условиях?

Я могу вспомнить полупроницаемые способы приблизиться к этому (первый кластер, а затем пометить кластеры). Есть еще?

Answer 1

В модели нейронной сети вы можете использовать Автокодеры.

Основная идея AutoEncoder состоит в том, чтобы выучить скрытый слой функций, создав сеть, которая просто копирует входной вектор на выводе. Таким образом, функции обучения и обучение «ярлыки» изначально идентичны, не требуется никаких контролируемых ярлыков. Это может работать с использованием классического Треугольный Сетевая архитектура с постепенно меньшими слоями, которые захватывают сжатый и, надеюсь, полезный набор производных функций. Скрытые слои сети изучают представления на основе более крупного набора данных без присмотра. Эти слои могут затем использоваться для инициализации регулярной контролируемой учебной сети, которая будет обучена с использованием фактических метков.

Подобная идея-это предварительные слои с использованием Ограниченная машина Больцмана, который может быть использован очень похожим образом, хотя и на основе различных принципов.

Answer 2

Вы уже сбросили ключевое слово «полупроверенный» в своем вопросе. Действительно, полупрофильное обучение-это ответ на ваш вопрос. Ищите этот термин с вашим любимым поисковым или библиотечным каталогом, чтобы узнать об алгоритмах для полупрофильного обучения.