Отец его работал на Китайской железной дороге на станции Хинган (ныне это территория КНР). Когда сыну было два года, семью перевели в Иркутск. Там прошли детство и юность Иосифа. Учился он в трехгодичной городской школе, затем - в четырехклассном училище. Из училища его исключили за плохое поведение. В это время отец ушел из семьи, оставив семерых детей в подростковом возрасте. Иосиф и его старший брат стали кормильцами семьи. Иосиф устроился в биллиардную маркером, по вечерам продавал газеты, служил разносчиком телеграмм, потом нашел себе работу на кожевенном заводе...