Из девяти сыновей, родившихся у Льва Николаевича и Софьи Андреевны, четверо умерли в детстве: Пётр (1872-1873), Николай (1874-1875), Алексей (1881-1886) и Иван (1886-1895). Первенец семейства Сергей родился 28 июня 1863 года, с детства занимался музыкой (сначала с матерью). Позже учился композиции у С.И. Танеева. Особенно интересовался музыкальными связями и традициями русского и европейского песенного фольклора. Писал романсы на стихи русских поэтов. Публиковался под псевдонимом С. Бродинский.
В октябре 1913 года в Россию приехал известный проповедник суфизма Хазрат Инайят Хан, музыкант и философ. В Москве он сдружился с многими музыкантами, артистами и композиторами, вместе с Сергеем Львовичем Толстым и пианистом Владимиром Полем он издал альбом с Нотными записями 16 индийских мелодий в переложении для фортепьяно.
Сергей Львович разделял взгляды своего отца и помогал в реализации его планов. Учился он в Московском университете на естественном отделении физ-мата, затем работал в Тульском отделении Крестьянского поземельного банка. С 1890 г. - земский начальник Чернского уезда/ где было его поместье Никольское-Вяземское. Принимал участие в перевозке духоборов в Канаду (1898-99). Много занимался вопросами поддержки толстовцев, репрессированных властями за антиправительственную деятельность.
После Октябрьской революции работал в музыкально отделе Наркомпроса, участвовал в фольклорных экспедициях В 1921 30 гг. - научный сотрудник Государственного ин-та музыкальной науки. В 1926—1930 — профессор Московской консерватории. В 1928—1929 — преподавал в ней музыкальную этнографию. Автор трудов по музыкальной этнографии.
Многое сделал для сохранения памяти об отце. Он автор первого путеводителя по Ясной Поляне, ряда статей о музыке в жизни отца.
Женат он был дважды. Первой его женой стала Мария Константиновна Рачинская, дочь директора Московского Сельскохозяйственного института. Братья Сергей и Константин Рачинские, племянники поэта Баратынского, были известными педагогами. Помните Сергея Рачинского на популярнейшей Картине Богданова-Бельского "Устный счёт"?
Брак был недолгим. 9 июля 1895 года - свадьба. 10 ноября 1896 года - развод, 24 августа 1897 рождается их сын Сергей, который воспитывается в семье Сергея Рачинского.
После родов Мария Константиновна заболела чахоткой, в 1898 году уехала лечиться в Лондон и там умерла. похоронена в селе Татево (Смоленской губернии).
Вторая жена Сергея Львовича с 1906 года - графиня Мария Николаевна Зубова (1867-1939).
Сергей Львович Толстой был награждён орденом Трудового Красного знамени.
Его сын Сергей Сергеевич Толстой (1897- 18.09.1974) был кандидатом педагогических наук, работал в должности профессора кафедры английского языка в Институте Международных Отношений МИД СССР.
В 1921 году был дьяконом у митрополита Трифона. Во время войны перешёл в старообрядческую церковь. Женат был трижды.
С 1918 года на Марии Александровне Кражановской (1898-1919).
Со 2 мая 1927 года на Вере Хрисанфовне Абрикосовой (1906 - 1957)
И с 29 июля 1966 года на Раисе Васильевне Чучковой (р. 1922). Разведены 14 марта 1972 года.
И здесь старшая ветвь обрывается.