С. Е. Раич был женат на обрусевшей француженке Терезе Андреевне Оливье.
Судя по данным, которые Раич приводит в своей биографии, Тереза Андреевна родилась году в 1809-1810, замуж вышла лет 19-20. Умерла в 1846-1847 году. В связи с тем, что её младшая дочь Софья родилась в 1846 году, предполагается, что кончина Терезы Андреевны как-то связана с этими родами.
Брат С. Е. Раича - Филарет - негативно относился к тому, что Семён женился на иноверке ("немке", как он выразился). Столь же негативно он относился и к литетурной деятельности Раича.
Известно, что Тереза Андреевна Оливье в 1833 году открыла в Москве пансион для девиц.