Когда мы в машинном обучении решаем задачи типа распознавания чисел на картинках, мы на самом деле не можем точно сказать что вот на этой картинке нарисовано именно это число. Мы можем только предположить, что да, это вроде похоже на то что нам нужно, а вон то ну как то совсем не похоже.
Чтоб работать с такими предположениями, когда мы не знаем точной истины и можем только догадываться, нам нужна теория вероятностей.
Давайте разберем некоторые основные вещи из нее.
Допустим мы проводим «испытание»: подбрасываем монетку два раза и смотрим что там выпадет. То что там выпало, например орел два раза подряд, назовем «исход испытания». Теперь проведем 1000 таких испытаний.
Нарисуем круг эйлера, где черный круг под буквой D будет означать все исходы всех 1000 испытаний. Круг A это все исходы где первый раз выпал орел, а круг B это исходы где во второй раз выпал орел. Пересечение кругов AB это исходы где оба раза выпал орел.
И уже теперь, когда мы наглядно видим, где у нас что выпадало, можно что то говорить о вероятностях.
Чтоб найти вероятность какого то события, например выпадение орла, надо количество всех исходов где выпал орел, разделить на количество вообще всех исходов. При этом всегда получается число в пределах от 0 до 1.
Например если мы все исходы A поделим на исходы D, то есть исходы где первым выпал орел поделим на вообще все исходы, то мы получим вероятность выпадения орла. Допустим если орел выпал первым в 400 исходах, то вероятность будет 400/1000=0.4, а если орел выпал вторым в 500 исходах, то вероятность этого будет 500/1000=0.5.
Какова вероятность того что оба раза выпадут орлы? То есть на картинке это пересечение кругов AB. Для этого мы умножим вероятность выпадения орла в первый раз на вероятность его выпадения во второй раз: 0.4 * 0.5 = 0.2. Причем надо иметь ввиду что так можно умножать вероятности только тех событий, которые могут наступить вместе одновременно.
Допустим мы бросили монетку и у нас выпал орел. Какова теперь вероятность что второй раз тоже выпадет орел? Для этого мы берем все исходы AB, когда оба раза выпали орлы, и делим уже не на все исходы D, а на исходы A, где первый раз выпал орел. Такая вероятность называется «условная вероятность».
Если покопаться во всем этом то из всей этой информации можно вывести формулу, что для получения этой условной вероятности, можно вероятность того что оба раза будут орлы (вероятность исходов AB) разделить на вероятность того что в первый раз выпал орел (вероятность исходов A).
Но что если наоборот, мы знаем что во второй раз выпал орел. Какова вероятность того что первый раз тоже выпал орел? Для этого есть формула Байеса, которая связывает между собой условную вероятность, и ее «перевернутую версию».
probability(A|B) = (probability(B|A) * probability(A)) / probability(B)