Эти глаголы являются синонимами и переводятся на русский язык глаголом "начинать". Но begin является более формальным, то есть официальным, чем start.
When did you begin learning English?
Когда ты начал учить английский?
When did he start his business?