Дочь камергера, действительного статского советника Валериана Гавриловича Карновича (1823—17.04.1891) и Ольги Васильевны, урождённой Месарош (1830—1919). Карновичи владели в Ярославской губернии селом Пятницкая Гора.
Её брат — Сергей Валерианович Карнович (02.05.1853 — январь 1918), канцелярист по земельному устройству государственных крестьян. Во время Русско-турецкой войны — охотник 137-го пехотного Нежинского полка. С 1887 года играл в театрах и использовал сценический псевдоним Валуа. В 1901 году в чине коллежского советника окончательно оставил службу и поступил в частную антрепризу. Его сын Сергей Карнович-Валуа (племянник Ольги) также стал актёром, как и его сын Геннадий. Ещё два брата её: Денис Валерианович Карнович (30.04.1849—30.05.1908) — тайный советник и Владимир Валерианович Карнович (ум. 27.02.1901) — действительный статский советник.
В первом браке с 30 мая 1884 по 1901 год замужем за офицером гвардии Конного лейб-гвардии полка из остзейских немцев Эриком-Гергардом фон Пистолькорсом. В браке родилось четверо детей. Три дочери, младшая из которых Марианна, предположительно, входила в компанию князя Феликса Юсупова во время убийства Григория Распутина. Сын Александр в 1908 году женился на родной сестре Анны Вырубовой — фрейлине Александре Танеевой, в браке с которой имел трёх дочерей: Татьяну (1910—1968), Ольгу (1912—2011), Александру (р.1914), которые после революции вместе с родителями выехали за пределы России и впоследствии проживали в странах Скандинавии.
В середине 1890-х годов у Ольги фон Пистолькорс начался роман с овдовевшим великим князем Павлом Александровичем, от которого она 28 декабря 1896 / 9 января 1897 г. родила сына Владимира. В конце концов это привело к разводу с мужем. Павел Александрович не получил разрешения Николая II на брак с Пистолькорс и 10 октября 1902 года обвенчался с ней в Ливорно, после чего супруги остались жить за пределами России. В 1904 году баварский принц-регент Луитпольд даровал Ольге Пистолькорс, её сыну Владимиру и новорождённой дочери Ирине (1903—1990) титул графов фон Гогенфельзен. Позднее смягчился и Николай II, в 1908 году разрешивший всей семье вернуться в Россию, а в 1915 году пожаловавший графине Гогенфельзен и уже трём её детям от великого князя (к этому времени родилась ещё и дочь Наталья (1905—1981)) княжеский титул под фамилией Палей.
В 1911 году в Царском Селе началось строительство дворца для княгини и её супруга по проекту архитектора Карла Шмидта. Здание, известное ныне как дворец Ольги Палей, было закончено в 1914 году.
Во время Первой мировой войны она активно занималась благотворительностью, будучи, в частности, Председательницей Совета Всероссийского общества помощи военнопленным (1915—1917).
В 1916 году императорским указом было утверждено решение Ярославского дворянского собрания о причислении Сергея Карновича и его сестры Ольги к роду Карновичей.
Княгиня Палей жила в собственном дворце в Царском Селе до января 1919 года. В 1918 году на первом этаже дворца был устроен музей, и экскурсии по нему (дважды в неделю) водила сама Ольга Валериановна.
Пережив арест и казнь мужа и сына (Павел Александрович был расстрелян в январе 1919 года в Петропавловской крепости, а Владимир Палей за полгода до этого убит в Алапаевске — сброшен в шахту), она, как и две её дочери, бежала в Финляндию и в дальнейшем обосновалась в Париже. Здесь она опубликовала книгу воспоминаний о жизни в России в 1916—1919 годах (фр. Souvenirs de Russie), в 2005 году переизданную в России.