Мать Серова — Валентина Семеновна — была женщина суровая. Сына она видела редко - занятия музыкой и общественная деятельность отнимали много времени -, но уж если видела, спуску не давала. Однажды Валентин опоздал к назначенному часу, и мать в наказание не открыла ему дверь. Мальчик ночевал на крыльце — домой его пустили только утром.
Друзья и родные звали Валентина Серова Антоном. Это не самое очевидное прозвище возникло — вернее, начало возникать — в детстве. Родители звали маленького Валентина Валентошей, Тошей, иногда — Тоней. Позднее, на даче Мамонтовых в Абрамцеве, Тоша превратился в Антошу. И письма, которые Илья Репин писал уже взрослому Серову, нередко начинались обращением: «Антон, Антон!».
Серов всегда восхищался Михаилом Врубелем — его талантом, конечно, но, главное, его стремительностью.
Однажды Серов и его близкий друг Константин Коровин получили выгодный заказ — писать картину «Хождение по водам» для костромской церкви Космы и Дамиана в приходе фабрики Третьяковых. Серов должен был написать Христа, Коровин — пейзаж, то есть собственно воды. Серов бился над эскизом неделю, но тот решительно не желал выходить. Глядя на их мучения, Врубель (писавший рядом занавес для Частной оперы) не выдержал. Он поднял с пола картон с одним из неудачных набросков и за несколько минут набросал великолепный эскиз. Не сразу обретя дар речи, друзья принялись благодарить, но Врубель лишь буркнул, что «так всегда бывает, когда заказ получают не те, кто призван к живописи самой природой, а черт знает кто».
«Суровую сдержанность и абсолютную правдивость» Серова однажды довелось оценить и императорской семье. Валентин Александрович работал над портретом Николая II, когда императрица изъявила желание взглянуть, как продвигается дело. Зайдя художнику за спину, Александра Федоровна стала указывать ему на «погрешности» — тут слишком широко, да и подбородок надо бы поднять.
Спорить Серов не стал, он просто предложил государыне окончить портрет вместо него. Та, покрывшись пунцовыми пятнами, выбежала вон.
Сдержанно извинившись, Серов откланялся — портрет он так и не окончил. Долгое время император искал подходы к неуступчивому художнику через близких ему людей. Но тот оставался непреклонен. И однажды ответил пытавшемуся уговорить его Сергею Дягилеву: «В этом доме я больше не работаю».