О своей жене И.М. Долгорукий писал, что она "... существо бесподобное на земле, ангельское за гробом" ("Капище моего сердца").
Евгения была изящность естества:
Семнадцать лет вкушал с ней райских дней блаженство,
В чертах её лица зрел мира совершенство,
В чертах её души зрел благость Божества!
За 17-летний период брака у них родилось 10 детей. Однако этих пламенных строк и счастливых лет брака могло бы не быть.
Однажды после очень весёлой и игривой вечеринки в Павловске гоф-курьер нашёл на полу потерянный дамский портфель. В нём нашли записочку и силуэт Ивана Долгорукого, который был уже в помолвке с Евгенией Смирновой.
...я чуть-чуть не попал, по милости этой Ушаковой, в самую неприятную сплетню, которая могла подействовать на мое счастье, отняв y меня Евгению...
Хозяйка силуэта нашлась сразу. Но на этот счет сразу пошли "забавные" толки, которые явно негативно повлияли бы на возможность такого брака, не вступив в который жених тут же "поволочился" за другой.
Иван Михайлович долго беспокоился, не зная сам, как объяснить эту странность, поскольку не был даже знаком с молодой девушкой, потерявшей сумочку.
Но проказа барышни открылась сама собой. Оказалось, что за ней приударял один придворный кавалер. Она хотела вызвать его ревность и ничего другого не придумала, как нарисовать князя Долгорукова и умышленно оставить свои вещи. По её расчету кавалер должен был "воспламениться и не мучать её длинным ожиданием его признания".
В мемуарах Иван Михайлович об этом случае напишет:
Бывают со всеми забавные приключения, но таких, какое случилось со мной, никто другой не испытал в своей жизни.
Вот в чём он несомненно прав, так это в том, что в жизни его приключений не мало. То ли просто он сам относился к ситуациям.