Бритва Оккама

Бритва Оккама (Lex Parsimoniae)

Бритва Оккама — это методологический принцип, согласно которому при наличии нескольких объяснений одного и того же явления следует отдавать предпочтение тому, которое требует наименьшего количества допущений и гипотетических сущностей. Латинская формулировка, приписываемая Уильяму Оккаму: «Entia non sunt multiplicanda praeter necessitatem» (Сущности не следует множить без необходимости).

Исторический и логический контекст

1. Номинализм: Уильям Оккам (XIV век) использовал этот принцип для защиты номинализма — учения о том, что существуют только конкретные вещи, а общие понятия (универсалии) — лишь имена, созданные умом. Бритва помогала «отсекать» абстрактные метафизические конструкции, не имеющие под собой реальных объектов.
2. Эвристическое правило: Бритва Оккама не является законом природы или доказательством истины. Это инструмент выбора гипотезы для проверки: простую гипотезу легче опровергнуть или подтвердить.
3. Обоснованная сложность: Если простое объяснение не покрывает все факты, оно должно быть заменено более сложным. Сложность оправдана только тогда, когда она необходима для соответствия реальности.

Научный мост: MDL и теория информации

В современной науке и машинном обучении Бритва Оккама получила математическое выражение:

1. Принцип минимальной длины описания (MDL): Лучшая модель для набора данных — та, которая позволяет максимально сжать эти данные. Описание модели плюс описание ошибок должно быть минимальным по объему (в битах).
2. Борьба с оверфиттингом (переобучением): Слишком сложная модель может идеально описать тренировочные данные, но она «запоминает шум» вместо того, чтобы найти закономерность. Оккамова простота помогает создавать модели, которые лучше работают на новых, неизвестных данных.
3. Байесовские прайоры: В теории вероятностей простым моделям изначально присваивается более высокая априорная вероятность, так как существует бесконечное множество сложных способов объяснить любой факт, и большинство из них ложны.