Поселение возле Кракова было основано как отдельный город 27 февраля 1335 года указом польского короля Казимира III и позднее стало называться его именем. Целью основания Казимежа была защита южной части Кракова. Город стал формироваться и застраиваться типичной средневекой архитектурой на реке Висле южнее Кракова. На центральной площади Казимежа располагалась городская ратуша, в здании которой сегодня располагается Этнографический музей имени Северина Удзели. Главными улицами Казимежа, исходящими от главной городской площади, были следующие улицы: в сторону юга направлялась улица Велицкая (сегодня это улица Краковская), на север — улица Краковская, на запад — улицы Пекарская (существует сегодня) и святого Якуба (сегодня — улица Скавинская) и на восток — улица святого Лаврентия (существует сегодня). Город защищала городская стена, имевшая четыре башни. За пределами городских стен находилось предместье Страдом, в окрестностях которого находился Королевский мост, соединяющий Казимеж с Вавелем.
В 1495 году после привилея «Privilegium de non tolerandis Judaeis», евреи, жившие в западной части Кракова, были вынуждены покинуть Краков и стали заселять северо-восточную часть Казимежа. Еврейский квартал Казимежа развивался независимо от польской части в границах современных улиц Мёдовой, Старовисльной, святого Лаврентия, Вёнской, Юзефа и Новой и был отделён от христианской части города каменной стеной, просуществовавшей до 1800 года. Центром еврейского квартала была современная улица Шерока.
Со временем еврейский квартал Казимежа стал важным центром еврейской жизни в Польше. В нём были построены многочисленные синагоги (семь из которых сохранились до нашего времени), несколько еврейских школ и кладбищ. В еврейском Казимеже жили и работали известные раввины Мойше Иссерлес и Натан Спира.
Во время Северной войны Казимеж был значительно разрушен шведскими войсками. В 1800 году Казимеж был присоединён к Кракову и стал одним из его районов. С 1815 по 1846 год по проекту архитектора Кароля Кремера произошла перепланировка Казимежа. В 1822 году были снесены каменные стены, отделявшие еврейскую часть от польской, и евреи стали постепенно заселять польскую часть города. В конце XIX века был засыпан речной рукав Вислы, и Казимеж больше не отделялся от Кракова естественными преградами. На месте речного рукава была обустроена новая улица Планты Дитловские (в настоящее время это улица Юзефа Дитла).
Во время Второй мировой войны евреи были согнаны в Краковское гетто, которое располагалось на противоположном берегу Вислы. Большинство краковских евреев были убиты во время ликвидации гетто или в концентрационных лагерях.