Наиболее вероятно, что своё название Рыльск получил по реке Рыло (ранее Рыла). Происхождение названия реки доподлинно неизвестно. Наиболее распространена версия происхождения от славянского «рыть», хотя некоторые исследователи отнесли гидроним Рыло к дославянскому пласту (финно-угорского или даже иранского происхождения с различными топонимическими значениями). Существуют также другие версии происхождения названия реки и города:
По одной из версий Рыльск обязан своим именем преподобному Иоанну Рыльскому. Хотя сам святой никогда не был в Рыльске Курской области — он жил в Болгарии, в тех самых местах, где находятся Рильские горы, река Рилска и городок Рила. А уже после его смерти болгарские монахи Рильского монастыря из-за притеснений Византии были вынуждены бежать из страны, с собой они взяли частицу мощей святого — десницу (правую руку). Это событие, хотя и относится к дохристианскому периоду Руси, связывается с существованием в Рыльске XVII века церкви во имя святого Иоанна Рыльского (согласно данной версии, эта церковь основана болгарскими монахами, а река и город получили свои названия).
По ещё одной легенде, своё название река получила так: дикая свинья с поросятами, роя себе логовище, разрыла источник, который и явился началом реки. По-видимому, созвучие названий реки и кабаньей головы (рыла) и породило данную историю.