Еще до поступления на государеву службу, Федор отшельничал на Воробьевых горах. Там в 22 года он основал на собственные деньги Андреевский монастырь рядом со старенькой церковью Андрея Стратилата. Монастырь изначально замышлялся как учебный и научный центр. При нем было образовано так называемое Ртищевское братство или Ртищевская школа. Здесь занимались переводом книг, а также обучали молодежь всяким премудростям – языкам (латыни, греческому и славянскому), красноречию, риторике, грамматике и философии.