Еще в 1932 г. Холостяков, будучи командиром-комиссаром подводной лодки "Большевик" на Балтике, вступает в брак с ленинградкой Прасковьей Ивановной, которая после окончания аспирантуры преподавала в комвузе. В этом же году Холостяков в числе лучших оканчивает Тактические курсы при Военно-Морской академии и получает назначение на возрождающийся Тихоокеанский флот. Жена отправилась вместе с ним и стала работать в агитпроме Владивостокского горкома партии. Судя по всему женщина она была политически активная, так как в 1937 г. ее отправляют в Москву на совещание жен начсостава. Из столицы Прасковья Ивановна вернется с орденом Трудового Красного Знамени. Пока Холостяков сидел в лагере как польский (вот и аукнулся плен), а заодно и англо-японский шпион и вредитель, его супруга ушла добровольцем на советско-финскую войну, где служила на передовом эвакопункте действующей армии. "Гвозди б делать из этих людей:/ Крепче б не было в мире гвоздей". С войны она возвратилась с медалью и подорванным здоровьем. В ноябре 1941 г. на одном из последних транспортов из Керчи добралась до Новороссийска, страдающая астмой Прасковья Ивановна. Супруги ненадолго увиделись, а затем жен комсостава эвакуировали в тыл. Война разлучила их, все эти годы Холостяков искал свою жену, но встретились они только в конце 1944 г. в Измаиле. Прасковья Ивановна была безнадежно больна и вскоре скончалась.
Но после войны адмирал обрел семейное счастье. С вдовой Героя Советского Союза Цезаря Куникова, Натальей Васильевной Сидоровой, Холостяков познакомился в 1944 г., когда она приезжала в Геленджик на могилу мужа. Холостяков считал необходимым поддержать женщину, все-таки он был одним из тех, кто готовил десантную операцию, в которой погиб ее муж. Между ними завязалась дружеская переписка, а потом они встретились вновь и не захотели расставаться. В 1947 г. она родила адмиралу сына Георгия, а Холостяков усыновил сына Цезаря Куникова - Юрия. Второй брак Холостякова сложился удачно, выросли внук и внучка - дети Юрия. Конечно, с годами стало подводить здоровье. Наталья Ивановна перенесла инсульт и плохо передвигалась. У Георгия Никитича стала развиваться болезнь Паркинсона, но старый моряк не собирался сдаваться. Супруги жили дружно, поддерживали друг друга и умерли в один день. Только смерть их была трагической.
13 июля 1983 г. квартиру адмирала посетило двое молодых людей. Парень и девушка представились студентами-стажерами, делающими первые шаги в журналистике. Они внимательно слушали рассказы ветерана и по-детски восторгались его наградами. А восторгаться было чем, помимо многочисленных советских наград, Холостяков был награжден высшими орденами Болгарии, Венгрии, Румынии, Чехословакии, Югославии. Еще в 1944 г. он стал командором ордена Британской империи.
Молодые люди, взяв интервью, вежливо попрощались, разведка прошла успешно, поскольку они не были журналистами. Семейная парочка, Геннадий Калинин и его жена Иннеса Калинина-Гаврилова, была тесно связана с преступной группировкой некого Тарасенко. Эта группировка, в которую входило более 20 человек, специализировалась на кражах и перепродаже орденов и медалей. Калинин с супругой "гастролировали" по всей стране. Применяемая ими методика краж была примитивна, но действовала безотказно. Они узнавали фамилии фронтовиков в Союзе ветеранов или просто списывали с Доски почета. За 20 копеек в киоске "Горсправки" получали нужные адреса. Приехав на квартиру представлялись журналистами и брали интервью у растроганного от внимания ветерана. Для лже-журналистов из шкафа извлекался китель или пиджак, густо увешанный наградами. Затем девушка просила стакан воды и пока хозяин спешил на кухню, гости срывали имевшие ценность ордена и быстро прощались. По данным следствия криминальный дуэт с 1980 по 1983 гг. совершил 39 краж в 19 городах СССР. Они похитили свыше 50 орденов Ленина, несколько "Золотых Звезд" Героев Советского Союза и Героев Социалистического Труда, десятки других наград.
Высшую награду СССР орден Ленина, изготовленный из золота и платины, преступники продавали за 750 рублей. В то время, когда приличный обед в столовой стоил один рубль, а милиционер по первому году службы получал 120 рублей в месяц, это были хорошие деньги. (Сейчас на "черном рынке" орден Ленина последнего типа стоит от 100 тысяч рублей и выше). Подобный "товар" находил спрос у подпольных дельцов, дантистов, ювелиров, коллекционеров наград. А ограбив Холостякова можно было сорвать большой куш. Ведь там имелась медаль "Золотая Звезда" Героя Советского Союза (вес 21.5 г.), три ордена Ленина, редкие ордена Суворова и Ушакова первых степеней, изготовленные из платины. Кстати, в 2006 г. на аукционе "Сотбис" была попытка выставить на продажу 11 советских орденов, в том числе ордена Суворова, Ушакова, Нахимова, Богдана Хмельницкого. Их стартовая цена определялась от 50 до 80 тысяч долларов. Но вмешательство правительства РФ не позволило осуществить этот аукцион, т.к. ордена попали в Британию незаконным путем.
Блеск наград Холостякова не давал преступникам спокойно спать и 18 июля Калинины вновь отправились к адмиралу. Вроде, убивать никого не хотели, но Геннадий сунул в сумку монтировку. Раньше криминальная парочка обходилась без насилия, но перед поездкой в Москву Геннадий вместе со школьным товарищем ограбил дом вдовы сельского священника в селе Ёлнать Ивановской области, прослышав, что в доме полно старинных икон в серебряных окладах. Жена Калинина при этом не присутствовала - сдавала сессию в институте. Вдова священника не вовремя закричала и Калинин размозжил ей голову монтировкой. Добыча оказалось копеечной - простые иконы, скромные оклады.
Было 8 часов утра, когда адмирал открыл дверь лже-журналистам. Они торопливо пояснили, что надо срочно уточнить детали в прошлом интервью, поскольку оно идет в следующий номер. Гости прошли в столовую, и когда Инна попросила стакан воды, Наталья Васильевна, почуяв неладное, направилась прямо к входной двери. Это заметил Геннадий, он догнал женщину, затолкал её на кухню и ударил несколько раз монтировкой по голове. Выскочив из кухню, убийца столкнулся с Холостяковым, ударив его кулаком в лицо, Калинин стал бить адмирала монтировкой, затем табуреткой от рояля. Иннеса, тем временем, вытащила из шкафа парадный китель моряка и свернув, сунула его в сумку. Быстро отвинтила от гражданского пиджака звезду Героя. Налетчики заскочили в кабинет, вытащили из стола наградные документы, сорвали с подставки вымпел адмирала. В ту же сумку сунули три первых попавшихся вазочки из серванта, взятые для отвода глаз, и молниеносно покинули квартиру. На стук хлопнувший двери, проснулась 20-летняя внучка Холостяковых, Наташа, спавшая в дальней комнате за кабинетом. Торопливость преступников спасла ей жизнь.
Заслуженный артист России Борис Попов, друг семьи Холостяковых и автор книги "Трагедия на Тверском бульваре" (М.: 1990), пишет, что следствие по делу адмирала и его жены тянулось неоправданно медленно. Но следствие отрабатывало все версии, подозревали даже внучку Наталью, позже ставшую переводчицей с японского языка и второй женой известного журналиста Александра Любимова. Потом милиции удалось задержать скупщика наград. Советские ордена имели на реверсе порядковый номер и выяснилось, что один из орденов похищен "журналистами" у учительницы из Иванова. Через скупщика вышли на главаря банды Тарасенко, а тот рассказал о супругах Калининых. Их задержали в Ташкенте в октябре 1983 г. За три месяца, прошедших после убийства Холостяковых, преступная парочка совершила еще несколько краж наград у фронтовиков. Из Золотой Звезды Героя Советского Союза, похищенной у убитого адмирала, Калинин заказал себе перстень-печатку с инициалами "Г.К". Ряд наград удалось вернуть родственникам Холостяковых, другие бесследно исчезли. Уцелевшие награды родственники передали в музей Тихоокеанского флота. В годы перестройки китель с наградами украли, говорят, прямо из кабинета директора музея. Награды никто не искал. После года следствия состоялся суд. Геннадия Калинина приговорили к расстрелу, его жену - к 15 годам заключения.
В 1984 г. со стапелей сошел сухогруз, которому было присвоено имя адмирала Холостякова.