Отец его Моисей Исаевич работал старателем. В семье было 3 брата и сестра. Неизвестно по какой причине, но во время революционных событий на прииске из семьи ушла мать. Отец остался с детьми один. У отца была состоятельная сестра, жила в Шанхае. Она предложила брату взять одного из его детей к себе. Выбрала Якова. Так будущий поэт оказался в Китае. У тетки он не прижился и сбежал из богатого дома без документов и денег. Было ему в ту пору 10 лет. Не пропал, не потерялся. Нанялся в качестве боя (мальчика-слуги) на английский пароход, совершавший рейсы между Шанхаем и Гонконгом...