Найти Π² Π”Π·Π΅Π½Π΅
11,1 тыс подписчиков

πŸ–₯ Π›ΠΈΠ½Π΅ΠΉΠ½Ρ‹ΠΉ дискриминантный Π°Π½Π°Π»ΠΈΠ· (LDA). ΠŸΡ€ΠΈΠ½Ρ†ΠΈΠΏ Ρ€Π°Π±ΠΎΡ‚Ρ‹ ΠΈ рСализация с нуля Π½Π° Python


Π”Π΅Ρ€ΠΆΠΈΡ‚Π΅ ΠΏΠΎΠ»Π΅Π·Π½ΡƒΡŽ ΡΡ‚Π°Ρ‚ΡŒΡŽ)
LDA β€” Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ классификации ΠΈ пониТСния размСрности, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰ΠΈΠΉ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ Ρ€Π°Π·Π΄Π΅Π»Π΅Π½ΠΈΠ΅ классов Π½Π°ΠΈΠ»ΡƒΡ‡ΡˆΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ. Основная идСя LDA Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠΈ ΠΎ ΠΌΠ½ΠΎΠ³ΠΎΠΌΠ΅Ρ€Π½ΠΎΠΌ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠΌ распрСдСлСнии ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ² Π²Π½ΡƒΡ‚Ρ€ΠΈ классов ΠΈ поискС ΠΈΡ… Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠ³ΠΎ прСобразования, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ максимизируСт ΠΌΠ΅ΠΆΠΊΠ»Π°ΡΡΠΎΠ²ΡƒΡŽ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ ΠΈ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ Π²Π½ΡƒΡ‚Ρ€ΠΈΠΊΠ»Π°ΡΡΠΎΠ²ΡƒΡŽ.

НСкоторыС мысли ΠΈΠ· ΡΡ‚Π°Ρ‚ΡŒΠΈ:
⏩LDA ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΏΡ€Π΅Π΄ΠΏΠΎΡ‡Ρ‚ΠΈΡ‚Π΅Π»ΡŒΠ½Π΅Π΅ логистичСской рСгрСссии Π² рядС случаСв.

⏩Алгоритм LDA Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ расчСт Π°ΠΏΡ€ΠΈΠΎΡ€Π½Ρ‹Ρ… вСроятностСй ΠΈ срСдних Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ², Π° Ρ‚Π°ΠΊΠΆΠ΅ Π½Π°Ρ…ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅ собствСнных Π²Π΅ΠΊΡ‚ΠΎΡ€ΠΎΠ² ΠΈ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ.

β©Π‘ΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‚ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Ρ‹ ΠΊ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡŽ Π·Π°Π΄Π°Ρ‡ Ρ‡Π΅Ρ€Π΅Π· Π½Π°Ρ…ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅ собствСнных Π²Π΅ΠΊΡ‚ΠΎΡ€ΠΎΠ², Ρ‚Π°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ сингулярноС Ρ€Π°Π·Π»ΠΎΠΆΠ΅Π½ΠΈΠ΅ ΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄ Π½Π°ΠΈΠΌΠ΅Π½ΡŒΡˆΠΈΡ… ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΎΠ².

β©ΠœΠΎΠ΄ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΠΈ LDA, Ρ‚Π°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΈΡ‡Π½Ρ‹ΠΉ дискриминантный Π°Π½Π°Π»ΠΈΠ· (QDA), Π³ΠΈΠ±ΠΊΠΈΠΉ дискриминантный Π°Π½Π°Π»ΠΈΠ· (FDA) ΠΈ ядСрный дискриминантный Π°Π½Π°Π»ΠΈΠ· (KDA), ΡƒΠ»ΡƒΡ‡ΡˆΠ°ΡŽΡ‚ качСство ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΠ²Π°ΡŽΡ‚ количСство Π·Π°Π΄Π°Ρ‡, Π² ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Π΅Π³ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ.

⏩РСгуляризация поддСрТиваСтся Π² LDA ΠΈ Π΅Π³ΠΎ модификациях Ρ‡Π΅Ρ€Π΅Π· ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒ сТатия ΠΊΠΎΠ²Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΎΠ½Π½ΠΎΠΉ ΠΌΠ°Ρ‚Ρ€ΠΈΡ†Ρ‹.


Около ΠΌΠΈΠ½ΡƒΡ‚Ρ‹