Яков Осипович Рубанчик родился в 1899 году в Таганроге, но большая часть его жизни была связана с Ленинградом.
В городе на Неве он в 1928 году окончил архитектурный факультет Высшего художественно-технического института, создавал проекты жилых и общественных зданий, в том числе знаменитых советских фабрик-кухонь.
Во время Великой Отечественной войны Яков Осипович остался в блокадном Ленинграде вместе со своей матерью, сестрой и племянницей. На фронт он не попал, так как в результате несчастного случая незадолго до гитлеровского вторжения лишился левого глаза.
Архитектор трудился на строительстве оборонительных рубежей Ленинграда, участвовал в работах по маскировке важных объектов, мероприятиях по сохранению ленинградских памятников. При его непосредственном участии в ноябре 1941 года снимали с постаментов и прятали в укрытия знаменитых коней с Аничкова моста.
В 1943 году Рубанчик создал серию обмерных чертежей Пажеского корпуса и Мальтийской капеллы, которые создавались для реставраторов на случай повреждения архитектурных памятников.
Как архитектор Отдела охраны памятников, он имел официальное разрешение делать зарисовки в блокадном городе. День за днем фиксировал повседневную жизнь осажденного Ленинграда, создав 330 графических работ.
В 1964 году племянница Я.О. Рубанчика Елена Михайловна Полонская передала их в Музей истории Ленинграда (сейчас это Государственный музей истории Санкт-Петербурга).
140 из 330 рисунков Якова Рубанчика до 28 февраля 2020 года можно увидеть в Памятном зале Монумента героическим защитникам Ленинграда. Посещение выставки входит в стоимость билета.
После снятия блокады архитектор работал над проектами застройки Выборгского, Калининского и Московского районов Ленинграда в мастерской института "Ленпроект". Он умер в 1948 году и похоронен на Литераторских мостках Волковского кладбища.