Родился 27 ноября 1867 г. в деревне Плотница Пинского уезда Минской губернии (в настоящее время – Беларусь, Брестская область) в дворянской семье.
В 1887-1898 гг. обучался в Императорской академии художеств в Санкт-Петербурге, неоднократно отчисляясь. Был удостоен звания художника как вольнослушатель за проект народного дома, но диплом не получил из-за задолженнностей по техническим дисциплинам. Во время учебы начал практическую деятельность: работал чертежником и участвовал в архитектурных конкурсах.
В 1900-1904 гг. работал преподавателем художественных предметов в Строгановском училище (Москва).
В 1909 г. был удостоен почетного звания академика архитектуры, тем самым получив формальное право заниматься строительством объектов.
Про проектам Жолтовского осуществлены павильон Скакового общества (1905, Москва), усадебный дом Морозова в Щурове (1914, Московская область), дом в усадьбе Липовка А.А. Руперти (1909, Московская область), особняк Г.А. Тарасова (1912, Москва), постройки в усадьбе Лубеньково С.П. Рябушинского (1912, Тверская область), перестройка особняка М.К. Морозовой (1913, Москва), жилой поселок завода АМО (1923, Москва), сооружения Всероссийской сельскохозяйственной и кустарной выставки (1923, Москва), павильон СССР на Минаской ярмарке (1925, Италия, Милан), дом Советов Дагестанской АССР (1932, Махачкала), здание Госбанка СССР (1930, Москва), жилой дом на Моховой улице (1934, Москва), дом уполномоченного ВЦИК (1936, Сочи) и др. Ряд проектов не был осуществлен.
На Соколиной Горе по проекту И. В. Жолтовского построено здание Проектного управления Главнефтестроя (Окружной проезд, 18). Подробнее о здании читайте в статье Петра Генерозова «Дом на Ткацкой - неизвестная постройка И.В. Жолтовского в Москве».
В Измайлове сам И. В. Жолтовский ничего не построил, но архитекторы его мастерской здесь работали.
Имел много званий и наград: действительный член Академии Архитектуры СССР, доктор архитектуры и др.
Прекрасный знаток классического зодчества и крупнейший представитель неоклассики в советской архитектуре. Основатель собственной мастерской-школы, через которую прошли многие известные архитекторы.
Умер 16 июля 1959 г. в Москве. Похоронен на Новодевичьем кладбище.
О проектах мастерской Жолтовского в Измайлове читайте здесь: