Возвышение Кастильоне в аристократических кругах шло параллельно с растущим признанием Рафаэля в качестве придворного живописца урбинского герцога Гвидобальдо да Монтефельтро. Ко времени второго визита Кастильоне в Урбино в 1504 году они уже были близкими друзьями. В 1505 году герцог заказал Рафаэлю портрет английского короля Генриха седьмого, и именно Кастильоне отправился в Англию, чтобы представить монарху законченную картину. Предполагается, что Кастильоне послужил научным консультантом Рафаэля при создании фрески «Афинская школа» и что портрет писателя запечатлён на ней в образе Заратустуры.
Портрет Кастильоне, вероятно, имел глубоко личную значимость для самого писателя, так как сохранилось его стихотворение с описанием картины как утешения для жены и сына, которых он вынужден был оставить во время своей поездки в Рим.
В 1661 году картину приобрёл Людовик четырнадцатый у наследников кардинала Мазарини, и в настоящее время она хранится в Лувре.
Элегантность Кастильоне на портрете полностью согласуется с исполнением самой картины . Её композиция и общая атмосфера вызывали предположение о влиянии «Моны Лизы», которую Рафаэль мог видеть в Риме. Искусствовед Джеймс Бек определил портрет Бальдассаре Кастильоне, как окончательное решение портретной мужской живописи в эпоху Ренессанса.