Сын портного Джозеф Баджер родился примерно в 1707 году в американском городе Чарльстауне.
В 1733 году он перебрался в соседний Бостон, где проведет всю оставшуюся жизнь.
Там Джозеф брался за любую работу, связанную с его художественной деятельностью. Рисовал вывески, гербы и даже подрабатывал моляром.
Но основную часть времени, он всё же работал художником-портретистом.
Известно примерно около ста пятидесяти его портретов, самый ранний из которых датируется 1740 годом.
Он был особенно успешен в конце 1740-х и начале 1750-х годов, после выхода на пенсию другого художника жившего в Бостоне — Джона Смиберта (1688-1751).
Будучи самоучкой, Баджер использовал очень сдержанную манеру.
Его картины запоминаются своей мягкой цветовой гаммой и деликатной обработкой деталей, отличающейся от работ современников художника.