Лерой Андерсон родился 29 июня 1908 года в Кембридже, в семье шведских иммигрантов, приехавших в Соединенные Штаты еще детьми. Отец работал почтовым клерком и играл на мандолине. Мать была органисткой в церкви шведской миссии в Кембридже. "Мы были музыкальной семьей, - вспоминал Лерой. - Мой отец играл на мандолине, мать - на гитаре, а я аккомпанировал им на фортепиано. Это были счастливые вечера..." Когда мальчику исполнилось пять лет, мать начала давать ему первые уроки игры на фортепиано. Однажды родители услышали, как Лерой довольно хорошо играет на пианино какую-то песню...