GLM - статистическая или модель машинного обучения?

Question

Я думал, что обобщенная линейная модель (GLM) будет считаться статистической моделью, но друг сказал мне, что некоторые документы классифицируют ее как метод машинного обучения. Какой из них правда (или точнее)? Любое объяснение будет оценено.

Answer 1

GLM является абсолютно статистической моделью, но статистические модели и методы машинного обучения не являются взаимоисключающими. В целом, статистика больше связана с выводом параметров, тогда как в машинном обучении прогнозирование является конечной целью.

Answer 2

Что касается прогноза, статистика и наук о машинном обучении начали решать в основном одну и ту же проблему с разных точек зрения.

В основном статистика предполагает, что данные были получены данной стохастической моделью. Таким образом, с статистической точки зрения предполагается модель, и придаются различные предположения, которые обрабатываются ошибки, а параметры модели и другие вопросы выводятся.

Машинное обучение происходит с точки зрения информатики. Модели являются алгоритмическими, и обычно требуется очень мало предположений в отношении данных. Мы работаем с пространством гипотез и обучением предвзятости. Лучшая экспозиция машинного обучения, которое я нашел, содержится в книге Тома Митчелла под названием Машинное обучение.

Для более исчерпывающей и полной идеи относительно двух культур вы можете прочитать бумагу Лео Бреймана под названием Статистическое моделирование: две культуры

Однако необходимо добавить то, что даже если эти два науки начались с разных точек зрения, оба они теперь теперь имеют достаточное количество общих знаний и методов. Почему, потому что проблемы были одинаковыми, но инструменты были разными. Так что теперь машинное обучение в основном обрабатывается с статистической точки зрения (проверьте книгу Хасти, Тибширани, Фридман Элементы статистического обучения С точки зрения машинного обучения со статистическим лечением и, возможно, книги Кевина П. Мерфи Машинное обучение: вероятностная перспектива, чтобы назвать лишь несколько лучших книг, доступных сегодня).

Даже история развития этой области показывает преимущества этого слияния перспектив. Я опишу два события.

Первое - это создание тележек, созданных Брейманом с солидным статистическим фоном. Примерно в то же время Quinlan разработал ID3, C45, SEA5 и т. Д. Теперь как эти семьи деревьев, так и ансамблевые методы, такие как пакетирование и леса, становятся очень похожими.

Вторая история о повышении. Первоначально они были разработаны Фрейндом и Шапиром, когда они обнаружили Адабуост. Выбор для проектирования Adaboost был сделан в основном с вычислительной перспективы. Даже авторы не очень хорошо поняли, почему это работает. Только через 5 лет Брейман (опять же!) Описал модель Adaboost с статистической точки зрения и дал объяснение того, почему это работает. С тех пор различные выдающиеся ученые с обоими типами опыта разработали дальнейшие идеи, что приводит к алгоритмам повышения повышения, таких как логистическое повышение, повышение градиента, мягкое усиление ANS SO. Сейчас трудно думать о повышении без солидного статистического фона.

Обобщенные линейные модели являются статистической разработкой. Однако новые байесовские процедуры ставят этот алгоритм также на игровой площадке машинного обучения. Поэтому я считаю, что оба утверждения могут быть правильными, поскольку интерпретация и обращение с тем, как это работает, могут быть разными.

Answer 3

В дополнение к ответу Бена тонкое различие между статистическими моделями и моделями машинного обучения заключается в том, что в статистических моделях вы явно определяете структуру выходного уравнения перед построением модели. Модель построена для вычисления параметров/коэффициентов.

Возьмите линейную модель или GLM, например,

y = a1x1 + a2x2 + a3x3

Ваши независимые переменные - это x1, x2, x3, а коэффициенты, которые должны быть определены, - это A1, A2, A3. Вы определяете свою структуру уравнения таким образом, прежде чем построить модель и вычислить A1, A2, A3. Если вы считаете, что Y каким-то образом связан с X2 нелинейным образом, вы можете попробовать что-то подобное.

y = a1x1 + a2(x2)^2 + a3x3.

Таким образом, вы вкладываете ограничение с точки зрения выходной структуры. По своей сути статистические модели являются линейными моделями, если вы явно применяете преобразования, такие как сигмоид или ядро, чтобы сделать их нелинейными (GLM и SVM).

В случае моделей машинного обучения вы редко указываете структуру вывода, а алгоритмы, такие как деревья решений, по своей природе нелинейны и работают эффективно.

Вопреки тому, что отметил Бен, модели машинного обучения не только о прогнозе, они выполняют классификацию, регрессию и т. Д., Которые можно использовать для прогнозирования, которые также выполняются различными статистическими моделями.

Answer 4

GLM является абсолютно статистической моделью, в то время как все больше и больше статистических методов применяются в промышленном производстве в качестве машинного обучения ухищрения Анкет Метаанализ, который я читаю больше всего в эти дни, является хорошим примером в статистической области.

Идеальное промышленное применение с GLM может объяснить, почему ваш друг сказал вам, что GLM считается машинным обучением техника Анкет Вы можете направить исходную бумагу http://www.kdd.org/kdd2016/papers/files/adf0562-zhanga.pdf об этом .

Я внедрил упрощенный, который рассматривался как основная основа для моей системы рекомендаций в сценарии производства несколько недель назад. Очень признателен, если вы дадите мне несколько советов, и вы можете проверить исходный код: https://github.com/paynejoe/algo-sensetime/blob/master/src/main/scala/glmm.scala

Надеюсь, это поможет вам, хороший день!