Анализ библейских текстов и археологические исследования древнего Израиля показывают, что древние иудеи изначально верили во множество богов, а не в единого Бога. Многобожие израильтян подтверждают и не библейские источники. Надписи ассирийского царя Саргона II, рассказывающие о завоевании Северного Израиля в 8 веке до н.э., говорят о статуях, которым поклонялись израильтяне. Монотеизм же возник довольно поздно в иудейском обществе, далеко не в 13 веке до н.э., когда Моисей якобы получил заповеди от Бога.
После разрушения Первого Иерусалимского храма в 586 году до н.э. во время Вавилонского пленения иудаизм претерпевает изменения под влиянием древнеперсидской и древнегреческой мифологии и впитывает некоторые зороастрийские верования. В плену у иудеев формируется не только монотеизм, но и склонность к торговле. Часть иудеев после плена мигрировали в страны Средиземноморья, так как для всех торговцев в небольшой Палестине теперь просто не хватает места, а возвращаться к земледелию и лень и навыки за время плена утеряны. Они расселяются по территории современной Испании, Португалии, Италии, Северной Африки и Ближнему Востоку. Позднее эта часть иудеев получает название сефарды от древнееврейского слова «ספרד», что в переводе и означает «Испания».
Оставшиеся в Палестине иудеи строят второй храм и только после разрушения второго храма римлянами мигрируют в Юго-Западную Азию. Обосновавшись в Хазарском царстве, иудеи со временем внедряются в элиту и остаются там вплоть до разгрома Хазарии князем Святославом Игоревичем в 965 году. После этого большая часть из них переселяется во французские, германские земли и расселяется по территории Восточной Европы. Позднее эта часть иудеев получает название ашкеназы от древнееврейского слова «אשכנז», которым называли средневековую Германию.
С одной стороны, суть иудаизма едина для всех иудеев, в какой бы стране они не жили. Однако географическая разрозненность ашкеназов и сефардов повлияла на формирование различных религиозных обычаев и традиций двух групп иудаизма. Обычаи сефардских общин сформулированы в кодексе «Шульхан Арух», а обычаи ашкеназов собраны в своде «Мапа». Если на менталитет сефардов оказывал влияние арабо-мусульманский мир, то на ашкеназов - христианская Европа. Просто один пример: если ашкеназы уже давно приняли запрет многоженства и развода вопреки несогласию жены, то сефарды относились к этим вопросам более либерально и до недавнего времени периодически практиковали и то, и другое.
В средние века сефарды Испании считали себя иудейской элитой, происходящей от колена Иуды и только они остались настоящими иудеями. В отличие от своих собратьев в других частях Европы испанские иудеи часто имели хорошее светское образование и были зажиточными людьми. Даже после своего изгнания из Испании в 1492 г. эти иудеи сохранили сильное чувство групповой гордости. Сефарды, оставившие Испанию и обосновавшиеся в других местах Европы, подвергали других иудеев дискриминации. В сефардских синагогах Амстердама и Лондона XVIII в. ашкеназы не могли сидеть вместе с остальными членами общины, им полагалось стоять за деревянной перегородкой. Синагоги сефардов и ашкеназов различны и хотя у них общая вера, они различаются в своих обрядах.
В среде ашкеназов также существует тенденция к превосходству. Германские иудеев часто считают себя «интеллектуальнее» сефардов. Те из них, кто перебрался в США, внесли большой вклад в обустройство польских и русских иудеев, прибывших сюда позже и смотрят на сефардов свысока.
После изгнания с Пиренейского полуострова сефарды во многих европейских государствах оказывались бок о бок с ашкеназами, и где бы это ни происходило - отношения между ними были крайне натянутыми: две общины жили обособленно друг от друга, смешанные браки между их представителями были крайней редкостью. В 1776 г. в Лондоне община сефардов постановила, что если сефард вступает в брак с дочерью ашкеназа и умирает, то благотворительные фонды сефардской общины нельзя использовать для помощи вдове.
Джеймс Пиччотто, в книге 1865 года «Очерки англо-еврейской истории», сам потомок знаменитой сефардской семьи, которая была известна еще в средиземноморье, рассказывает о том, что в конце 18 века все еще было обычным фактом: о понижении сефарда в должности руководителя общины за женитьбу на ашкенази: «Джейкоб Израэль Берналь был зажиточным торговцем из Вест-Индии, происходил из хорошей и благородной семьи, хотя и не входил в первую шеренгу еврейских капиталистов. В 1744 году он был избран на должность габая (казначея) синагоги, но, к удивлению своих коллег, в следующем году сложил свои полномочия. Когда причина этого поступка стала очевидной, удивление старейшин значительно возросло. Джейкоб Израэль Берналь подал заявление о женитьбе на немецкой еврейке. Для члена португальской конгрегации, и особенно джентльмена, занимающего почетный пост казначея, желание жениться на женщине "Тудеско" было беспрецедентным событием, по поводу которого Махамад (совет синагоги) не мог рискнуть высказать свое мнение».