Если говорить просто, то подобное растворяется в подобном. Чуть сложнее: для полярных веществ - полярный растворитель, для неполярных - неполярный. Полярность это свойство молекулы, создавать диполь - разный заряд на противоположных концах молекулы. Вода - полярный растворитель, поэтому в ней хорошо растворяются полярные вещества - соли, кислоты, щелочи и т.д. Молекулы масла - по-сути - жиры, являются молекулами имеющими сложную структуру: их молекулы имеют две части - полярную и неполярную. Большая неполярная часть нерастворима в воде. Меньшая - полярная - растворима. Поэтому молекулы масла в воде образуют конгломерат, наподобие сферы, в котором неполярная их часть остаётся внутри сферы, а полярная - на ее поверхности. Из-за разности плотностей воды и масла эта сфера всплывает и растекается по поверхности (вспомните капли масла на поверхности бульона). Но та закономерность которая работала раньше сохраняется - неполярная часть (а она самая крупная) отделена от воды, поэтому вода и масло не смешиваются.