Мы приходим к фундаментальному принципу. В мире, где данные шумны, а системы плохо обусловлены, сила рождается не из тотальной точности, а из наложенных ограничений. Регуляризация — это математическое воплощение принципа «меньше, да лучше». Это искусство целенаправленного забывания, таксономии по степени важности.
Число обусловленности говорит нам о пределах предсказуемости. L2-регуляризация стабилизирует нас в этих пределах. А L1 — дает карту, показывающую, что именно в этих пределах является сутью, а что — шумом. В своем стремлении к знанию мы должны быть подобны скульптуру, который создает форму не добавлением глины, а ее отсечением. Ибо истина часто скрыта не в сложности, а в строгой, устойчивой и поразительно простой разреженности.
- Логарифмические существа: почему мы так воспринимаем мир
Окей, давай по-простому. Всё дело в том, как мы воспринимаем мир. Наши органы чувств устроены не как линейные приборы, а как логарифмические компрессоры. Они сжимают информацию, чтобы нам было проще жить. Вот как это работает.
Слух: почему мы используем децибелы и октавы Микрофон (линейный) фиксирует звуковое давление напрямую. Если сила звука удваивается, сигнал на выходе тоже удваивается. Честно, но неудобно: разница между шёпотом и криком огромна. Наше ухо (логарифмическое) работает иначе. Чтобы ощущение громкости выросло вдвое, интенсивность звука должна возрасти в 10 раз. Поэтому громкость измеряют в децибелах (дБ) — это логарифмическая шкала. Увеличение на 10 дБ = Увеличение мощности звука в 10 раз. Увеличение на 20 дБ = Увеличение мощности в 100 раз. Это позволяет нам одной шкалой измерить и тиканье часов (~30 дБ), и шум от отбойного молотка (~100 дБ), не сходя с ума. С высотой тона та же история: Мы воспринимаем частоту звука тоже логарифмически. Интервал между нотами в октаву — это удвоение частоты. Для нашего уха расстояние между нотами 100 Гц и 200 Гц звучит так же, как между 200 Гц и 400 Гц. Это тоже логарифм. Вывод: Мы чувствуем не абсолютные значения, а отношения («во сколько раз громче/выше»). Логарифм идеально для этого подходит.
Зрение: почему мы видим и в сумерках, и на солнце Камера (линейная) записывает количество фотонов. Вдвое больше света — вдвое ярче пиксель. В яркий день она слепнет, в сумерках — шумит. Наш глаз (логарифмический) подчиняется закону Вебера-Фехнера. Ощущение яркости пропорционально логарифму от интенсивности света. Мы замечаем разницу между 1 и 2 лампочками, но почти не замечаем разницу между 100 и 101 лампочкой. Глаз сам регулирует «усиление», сжимая гигантский диапазон освещённости в удобный для мозга формат.
Мозг: почему нейросети используют сигмоиду Вот тут всё сходится. Сигмоида — это функция активации в нейронах. Выглядит как растянутая буква S. Что она делает? Берет любой входной сигнал и сжимает его в аккуратный диапазон между 0 и 1. Она нелинейна. Она слабо реагирует на очень слабые и очень сильные сигналы, но очень чувствительна в середине. Прямо как наше ухо или глаз! Это позволяет сети обучаться и принимать сложные решения, основанные на «уверенности», а не просто «да/нет». Сигмоида — это искусственная версия нашего природного логарифмического восприятия. Она превращает сырые данные в вероятность и решение. Так в чём главный секрет логарифма? Он превращает умножение в сложение. Это его ключевое свойство: log(a b) = log(a) + log(b). Для уха: вместо того чтобы перемножать огромные числа, чтобы описать силу звука, мозг оперирует простыми суммами децибел. В целом для организма: это способ сжать огромный, неудобный мир в то, что можно воспринять и обработать, не перегружаясь. Итог: Всё живое — логарифмично. Мы не воспринимаем мир «честно», как датчики. Мы воспринимаем его практично. Логарифм — это костыль, который эволюция придумала, чтобы мы могли одним и тем же аппаратом услышать и шёпот, и гром, увидеть и звёзды, и солнце. А нейросети просто переняли этот трюк у природы.
- Голоса упругого тела: резонанс, моды и внутренняя музыка
Вообразите себе упругое тело — будь то струна, мембрана барабана или даже массивный мост. Его ключевое свойство — упругость — способность сопротивляться деформации и возвращаться к исходной форме, запасая и отдавая энергию. Но эта способность — лишь внешнее проявление его глубокой, внутренней сложности. Внутри каждого такого тела скрыто бесконечное множество собственных форм колебаний, или мод. Каждая мода — это особый, врожденный способ, которым тело может вибрировать. У каждой моды есть своя собственная частота — свой уникальный «голос», на который оно откликается охотнее всего. Когда на тело действует динамическая нагрузка — любое изменяющееся во времени воздействие, — оно не отвечает единым движением. Оно отзывается наложением всех этих мод, возбуждая их. Это называется суперпозицией. Сначала тело отвечает сложным, переливчатым аккордом, состоящим из множества голосов. Но внутреннее трение, сопротивление среды стремятся подавить это движение. Каждая возбужденная мода начинает затухать, осциллируя с постепенно уменьшающейся амплитудой. Скорость этого затухания описывается декрементом затухания — мерой того, как быстро колебания стихают при отсутствии внешней силы. Однако, если воздействие не прекращается и становится ритмичным, гармоническим — то есть подчиняется закону синуса или косинуса — происходит нечто удивительное. Если частота этого внешнего «зова» совпадает с одной из собственных частот тела, наступает резонанс. Энергия внешнего воздействия начинает эффективно и непрерывно подпитывать именно эту моду. Ее амплитуда колебаний перестает затухать и начинает возрастать, достигая значения, которое описывается амплитудно-частотной характеристикой (АЧХ). АЧХ — это кривая, которая показывает, как амплитуда колебаний тела зависит от частоты возбуждения. На резонансе эта амплитуда достигает своего максимума. Тело откликается на внешнее воздействие с максимальной полнотой и силой, буквально проживая его всей своей структурой. И таких резонансных пиков, моментов полного согласия, — бесконечно много, ровно столько, сколько мод таит в себе сложная, глубокая натура упругого тела. Каждая ждет своего точного, настойчивого ритма, чтобы явить миру всю мощь своего сокровенного трепета.