Его истинное значение это начинать с самого начала, с основ, с элементарного. "Аз" - первая буква славянского алфавита. А так как азбуку учат, конечно же, с самой первой буквы, то выражение стало устойчивым...