Долгое время ходили слухи, что первая жена Айвазовского, Юлия Гревс, хотела уйти от мужа, потому что в душе оказалась неблагодарной вертихвосткой, презирающей тихую семейную жизнь и мечтающей блистать на балах и приемах. Однако все было с точностью до наоборот: в браке Юлия родила мужу четырех дочерей, жила его жизнью и всячески поддерживала во всех увлечениях и начинаниях. А вот многоуважаемый художник избивал супругу до полусмерти, душил до бурых пятен на шее и бросался с бритвой.
Иван и Юлия поженились в 1848 году. Многих удивило, что 31-летний успешный художник выбрал в спутницы жизни скромную, тихую 19-летнюю гувернантку без связей и внушительного приданого.
Но этому было простое объяснение. Муж отвез молодую жену в родную Феодосию, и там для девушки начался самый тяжелый период в ее жизни – семейная жизнь с настоящим безжалостным тираном.
Юлия терпела долго, поскольку супруг шантажировал ее детьми, угрожая отнять дочерей, если та вздумает от него уйти. Лишь в 1970 году она, больная и изнеможенная морально, осмелилась бросить все и уехать к матери в Одессу. Находясь там, 8 марта она написала письмо императору, в котором просила понимания и защиты.
В апреле того же года Айвазовский приехал в Одессу, чтобы с помощью губернатора «разобраться» с нерадивой супругой.
Однако к тому времени в органах власти знали все о семейной жизни Айвазовских. Немаловажную роль сыграло то, что муж нередко поднимал руку на Юлию в присутствии посторонних.
В итоге на Айвазовского удалось повлиять: художник подписал расписку, согласно которой Юлия с дочерями могла проживать отдельно в любом городе на их выбор. Он также обязался выслать свидетельства о рождении и крещении на детей и пообещал ежемесячно отправлять им по 300 рублей на содержание.
Однако уже летом Иван Константинович стал настаивать на разводе. Он обвинял жену в скверном характере, который лишь ухудшился из-за болезни, в том, что она настраивает дочерей против родного отца, путешествуя при этом по Европе на его деньги и подговаривая высокопоставленных правителей государства отнять у него имущество. Через семь лет, в 1877 году они официально развелись.
А уже через пять лет 66-летний художник женился во второй раз на молодой вдове Анне, которая была моложе его на 40 лет. Детей у них не родилось, однако гостивший у Айвазовских Антон Павлович Чехов писал, что, несмотря на почтенный возраст, повадки у старика оставались прежними, и молодую красавицу Анну деспотичный супруг по старой привычке держал в суровых ежовых рукавицах.