Первый храм во имя святителя Филиппа был построен в монастыре в 1688 году напротив Трапезной палаты, в северо-западном ряду келий. Он был пристроен к больничным палатам и считался больничным храмом. Больничные кельи появились в монастыре еще при святителе Филиппе. Известно, что с начала XVII века в монастыре была больница и для мирских людей.
В конце XVIII века больничные кельи перенесли в южную часть центрального двора. В братском больничном корпусе жили схимники и престарелые старцы, на верхнем этаже до начала XX века размещалась больница с аптекой.
Вместе с больничными кельями переместили и храм. Новая церковь во имя святителя Филиппа была построена в 1798–1799 гг. Она двухъярусная. На первом ярусе находится храм, посвященный святителю Филиппу. В возвышающемся над ним восьмерике в 1859 году был устроен придел в честь иконы Божией Матери «Знамение». Такое посвящение связано с событиями Крымской войны. При обстреле монастыря английскими судами 7 июля 1854 года в одноименную икону, которая находилась над входом в Спасо-Преображенский собор, попало последнее ядро – после этого обстрел прекратился. В монастыре были уверены в том, что Богородица «приняла на себя последнюю рану». После устройства придела в него перенесли одноименную икону из Свято-Троицкого Анзерского скита.
Церковь через дверь в трапезной части сообщалась с больничными кельями и считалась также больничным храмом. В 1829 году церковь святителя Филиппа была расписана.
Храм пострадал в пожаре 1932 г. Было разрушено внутреннее убранство, огонь повредил восьмерик, он не подлежал восстановлению, и его пришлось разобрать.
Работы по восстановлению церкви проводились с середины 1990-х годов совместными усилиями монастыря и музея.
22 августа 2001 года Святейший Патриарх Алексий II совершил великое освящение храма святителя Филиппа. На то время это был основной действующий храм Соловецкого монастыря. В нем находились святыни обители: мощи преподобных Зосимы, Савватия и Германа, святителя Маркелла, архиепископа Вологодского и Белоезерского, честная глава священномученика Петра, архиепископа Воронежского и частица мощей святителя Филиппа, митрополита Московского.