Свен воспитанник клубов «TSV Lichtenwald» и «TSV Schornbach»; позже перебрался в юношескую команду «Штутгарта», с которой в 2005 году выиграл юношескую бундеслигу.
В январе 2008 года был взят в основную команду «Штутгарта», но продолжал играть за вторую команду. В Бундеслиге дебютировал 9 февраля 2008 года, в матче против берлинской «Герты», который закончился поражением «швабов» со счётом 1:3. По ходу сезона ещё несколько раз попадал в заявку основной команды. За сезон 2009/10 провёл 8 матчей в Третьей Бундеслиге в составе дублирующей команды и 4 матча в высшем дивизионе — в основной. После завершения Леманом карьеры в 2010 году, стал основным вратарём команды. Дебютировал на международной клубной арене 16 сентября 2010 года в матче группового этапа Лиги Европы против «Янг Бойз».
16 июня 2015 года Ульрайх перешёл в «Баварию», подписав контракт до 2018 года.
Свой первый матч за новый клуб провёл 9 августа 2015 года в рамках первого круга Кубка Германи против «FC Nöttingen». Свен мало играет за мюнхенский клуб, место в воротах он уступает более опытному немцу, основному голкиперу команды Мануэлю Нойеру. В Лиге Чемпионов дебютировал 9 декабря 2015 года в выездном матче против «Динамо Загреб» (2:0). Однако, далее у Свена появилась возможность проявить себя, когда 19 апреля 2017 года, в ответном матче Лиги Чемпионов 2016/17 против «Реал Мадрида» Мануэль Нойер получил травму ноги и Ульрайх занял место в рамке до конца сезона, а потом и открыл новый игровой год 2017/18 на воротах команды. Также чуть ранее принял участие в матче за Суперкубок Германии против «Боруссии», отразив два удара в серии пенальти, в том числе решающий удар Марка Бартры и завоевал трофей.
В сезоне 17/18 настал звездный час Свена. Из-за травмы Мануэля он отыграл 29 матчей в основном составе Баварии. Он часто выручал команду, но к сожалению все запомнили только его ляп в матче против "Реал Мадрида".
В 2020 году перешел в "Гамбург", но черещ сезон вернулся оьратно подписав 2-летний контракт с мюнхенским клубом.
Так же в июне 2019 года был впервые вызван во взрослую сборную Германии в качестве резервного вратаря на матчи квалификации Чемпионата Европы-2020, но так и не вышел на поле.
Заканчивая стаью про Ульрайха, что зоть он и был запасным, но вратарь он добротный, качественно заменявший Нойера и регулярно защищавший ворота родного "Штутгарта".