Родился Брайан Орсер 18 декабря 1961 года в Канаде, городе Бельвилль, провинции Онтарио. Семья была многодетной, он был самым младшим ребенком из пяти детей. По нынешним меркам в фигурное катание Брайан пришел довольно поздно – ему на тот момент уже исполнилось 9 лет. Его первым тренером стала Линда Ливер. Первый чемпионат Канады фигурист выиграл в 1977 году. В следующем сезоне он участвовал в чемпионате мира среди юниоров. В тот год взойти на пьедестал ему не удалось, он занял только 4-ое место...