Тыртов родился в мещанской семье, отец был мясником, а корни семьи ведут к богатому купеческому роду, потерявшему свой статус после исторических событий 1812 года. Рано потеряв мать и отца, двадцатилетний Иосиф не находит лучшего решения, чем женится на самой бедной невесте в округе, и от большой любви закатывает пышную свадьбу, тратя на это последние деньги. Чтобы компенсировать свадебные траты, Тыртов начинает выращивать овощи на продажу, и уже через год доход с этого небольшого увлечения позволяет ему не только прикрыть финансовые трудности, но и купить новый дом.
Но всё меняется в один прекрасный день, когда Иосиф посещает спектакль приезжего театра: он настолько загорается идеей, что создаёт актёрскую труппу из друзей, назвав её «Жители города Смоленска». Выступления театралов начинают пользоваться успехом среди смолян и становятся частью культурной жизни города.
Спустя некоторое время к Иосифу приходит совершенно новое увлечение, когда однажды ему дарят несколько сортов роз и георгин. Он начинает изучать немецкий язык, чтобы выписывать из Германии книги по уходу за цветами и покупать семена. Тыртов с головой погружается в новое хобби и развивает свою оранжерею, в которой насчитывалось около 7000 цветов, а в 1853 году в каталог знаменитого шарлоттенбургского садовода Н. Озе был внесён выведенный Иосифом жёлтый георгин, выращенный в Смоленске – «георгин Иосифа Гавриловича Тыртова».
До революции одна из улиц нашего города имела название переулок Тыртова, сейчас на этом месте располагается ТЭЦ-1.