Будущий актёр появился на свет в Саратове в семье портнихи и слесаря. В школе юный Серёжа учился крайне плохо, считался хулиганом и доставлял немало хлопот учителям. Однажды на уроке химии он самовольно устроил эксперимент: смешал соляную кислоту, железные опилки и пару реактивов. После чего по всему зданию распространился ужасный запах и занятия пришлось срочно прекратить. Экспериментатору проделка не сошла с рук — его немедленно исключили из школы.
Оставшись без аттестата, Филиппов перепробовал немало профессий. Сначала устроился помощником пекаря, потом трудился токарем и плотником, но ни на одной работе подолгу не задерживался. Однажды Сергей случайно попал на занятия в балетную студию и понял, что наконец нашёл дело своей мечты. Юноше прочили большое будущее в балете, уже через несколько недель он стал лучшим учеником, а вскоре по совету педагогов уехал в Москву поступать в балетное училище при Большом театре.
Однако тут у абитуриента вышла оплошность: когда он добрался до столицы, оказалось, что набор уже закрыт. Напористый молодой человек сдаваться не собирался и подал документы в только что открывшийся эстрадно-цирковой техникум, который впоследствии успешно окончил. Талантливого выпускника сразу приняли в труппу Театра оперы и балета, вот только его хореографическая судьба оказалась короткой. В очередной раз выйдя на сцену, двадцатилетний артист почувствовал боль в груди. Медики диагностировали сердечный приступ и строго запрели заниматься балетом.
Отказаться от сцены Сергей Филиппов не мог. После окончания балетной карьеры он сумел раскрыть новые грани своего таланта — начал выступать на эстраде с комедийными номерами и очень скоро стал известен на весь Ленинград. Во время одного из выступлений начинающего комика заметил знаменитый театральный режиссёр Николай Акимов и предложил ему стать актёром Театра комедии. На сцену этого театра Сергей Филиппов выходил на протяжении долгих тридцати лет, сыграв множество незабываемых ролей.
Вскоре на колоритного актёра обратили внимание и кинорежиссёры. Высокому, худому, но невероятно пластичному и эмоциональному Филиппову на экране часто предлагали играть неприглядных персонажей: грубых, неотёсанных, изворотливых. Но он умел каждую свою роль сделать неповторимой, и даже отрицательные герои в его исполнении становились любимцами зрителей. Его часто узнавали на улицах, но актёр предпочитал держаться от поклонников в стороне, не желая, чтобы его и в жизни отождествляли с малоприятными киногероями.
Когда Сергею Филиппову было слегка за пятьдесят, ему диагностировали страшный диагноз: опухоль головного мозга. Он страдал от сильных болей, но продолжал работать с полной отдачей. Леонид Гайдай, снимавший в то время свои «12 стульев», узнал о болезни актёра и предложил отдать роль Кисы Воробьянинова Ростиславу Плятту. Но Филиппов убедил режиссёра, что сыграет в картине в любом состоянии. Буквально по волшебству эти съёмки оказали на Сергея Филиппова исцеляющее действие: после выхода фильма на экраны он прожил ещё двадцать лет и появился во всех следующих картинах Леонида Гайдая. А последней ролью актёра в кино стал разгневанный ветеран из комедии «Частный детектив, или Операция „Кооперация“».
Сергей Филиппов был женат дважды. Его первой супругой стала артистка балета Алевтина Горинович, с которой актёр прожил в браке десять лет. В 70-е годы она эмигрировала в США и больше на родину не возвращалась, поэтому официально их брак с Филипповым так и остался не расторгнутым. Алевтина подарила супругу сына Юрия, который впоследствии выбрал профессию дизайнера. Второй избранницей Сергея Филиппова стала детская писательница Антонина Голубева, которая была старше актёра на тринадцать лет. Они прожили вместе до самой её смерти.
Когда вторая супруга Филиппова скончалась, он остался совсем один. Актёр ушёл из жизни в 77 лет после тяжёлой борьбы с онкологией, однако тело знаменитого комика обнаружили лишь спустя две недели после смерти. Деньги на похороны любимца миллионов зрителей собирали по копейкам всей актёрской братией. А на могиле написали его любимые стихи: «И не будет в день погребения ни свечей, ни церковного пения».