Первой женой актера была фотограф Саша Зак, с которой у Сильвестра родилось двое сыновей. Младшему сыну поставили диагноз аутизм и Сталлоне в скором времени, организовал помощь детям больным аутизмом. Старший сын Сейдж Сталлоне играл С отцом во многих его фильмах таких, как а "Рокки 5" (1990), "Дневной свет" (1996). В 2012 году Сейдж умер от сердечного приступа.
Популярность Сильвестра в те годы только набирала обороты, у него были тысячи поклонниц после выхода его первого фильма в главной роли "Рокки" (1976), который при бюджете в 1 млн. долларов собрал в мировом прокате 220 млн. в мире. Сталлоне стал звездой в кино и, после успеха фильма, проснулся миллионером. С Сашей Сталлоне прожил в браке 11 лет. Причиной развода стали частые измены Слая, которые его жена устала терпеть.
Следующей женой актера стала актриса Бриджит Нильсен. Бриджит встречалась с Арнольдом Шварценеггером и Арни, чтобы от нее избавиться, организовал ей встречу со Сталлоне. Бриджит Нильсен играла в таких фильмах как "Рыжая Соня" (1985) с Арнольдом Шварценеггером, "Кобра" (1986) и "Рокки 4" (1985) с Сильвестром Сталлоне, а также в последнем фильме о Рокки под названием "Крид 2" (2018). Слай и Бриджит прожили вместе три года, до тех пор, пока Сильвестр не застал ее в постели с другой женщиной.
Третьей женой Слая стала актриса Дженнифер Флавин, с которой у Сталлоне родилось три дочери. Дженнифер на момент знакомства со Слаем работала моделью в глянцевых журналах. Они познакомились на съемках фильма "Рокки 5" (1990) и не расстаются до сих пор. Флавин тогда была студенткой и влюбилась в 43 летнего актера. Слай старше своей супруги на 23 года, однако это не помешало паре построить отличную семью и крепкий брак. Пара живет вместе уже 30 лет.
Сталлоне очень любит своих дочерей, особенно старшую дочку Софию, которая уже в 24 года пережила 2 инфаркта. В настоящее время занимается бизнесом и мечтает открыть свою линию косметики и парфюмерии. Средняя дочка Слая Систин делает карьеру модели. Самая младшая дочь Сталлоне- Скарлетт, занимается спортом, не любит посещать публичные мероприятия и светиться на камеру.
И самой любимой женщиной Слая стала его мать. Сейчас ей 98 лет, она отлично выглядит для своих лет, занимается астрологией, делает операции по подтяжке лица и занимается спортом (посещает тренажерный зал).
Всего у актера было около 600 женщин, с которыми у него были романы. В их число вошли Наоми Кэмпбелл, Синди Кроуфорд, Шер. Слай очень часто просматривал моделей в журналах и просил своего секретаря сообщить понравившейся ему девушке о том, не хочет ли она с ним поужинать. Иногда Слай просто подходил к симпатичной девушке со словами "Пойдем к тебе или ко мне?". Сильвестр редко получал отказ. многим своим женщинам он дарил подарки стоимостью 20 тыс. долларов. С третьим же браком Слай остепенился и свою жену Дженнифер, Слай, по его словам, ни на кого не променяет.