В середине XIV века при создании османской армии сначала султан Орхан, а впоследствии и его сын Мурад I, помимо пехоты (яя) и конницы (мюселлем), состоявшей в основном из крестьян, формируют отдельный особый отряд «ени черы» — «новое войско». Янычары, как известно, набирались из военнопленных рабов, а также купленных невольников, которых обращали в мусульманство и полностью содержали за государственный счет при дворе самого султана. Вместе с тем, несмотря на такое обращение, янычар боялись и даже запрещали им носить оружие.
До начала XVI века янычары не могли заниматься ничем, кроме военного дела: им нельзя было жениться, нельзя было самовольно отлучаться от двора и ночевать где-либо, кроме казарм, нельзя было торговать. Неудивительно, что при набегах на захваченные территории они проявляли особую жестокость, чем и заработали почти легендарную славу. К концу XVI века ситуация кардинально изменилась: это были уже свободные люди, которые могли заводить семью и заниматься каким-либо ремеслом, тем более что этому их обучали (при казармах находились мастерские, где занимались дети янычар), в то время как многие из воинов пытались избежать участия в различных походах.
Тем не менее, несмотря на постепенное смягчение условий существования, янычар все еще воспринимали как угрозу. В XVIII веке после запрета на ношения оружия (преимущественно сабель) во время выхода в город им было разрешено иметь при себе только нож и топорик. Поэтому в мирное время янычары стали появляться на людях с ятаганом — оружием слишком коротким для сабли (формально соблюдая закон), но длинным для ножа, что не попадало под определение оружия, и считалось не столько оружием, сколько частью костюма.
Действительно, по одной из версий, ятаган так и переводится с турецкого языка — «длинный нож».
Подобная форма была не нова: заостренный с вогнутой стороны клинок имел греко-македонский меч — махайра, а также испанский «меч в форме косы» — фальката. Подобным клинком можно было наносить разнообразные рубящие и колющие удары. Защищаться также можно было по-разному: лезвием или же незаостренной выпуклой стороной.
Первый известный ятаган нового времени датируется первой четвертью XVI века, а в более ранних источниках, как пишут исследователи, ятаган в современном представлении не упоминается. Более масштабное распространение ятаганов приходится на XVIII век, хотя это оружие все еще нельзя было назвать массовым.
Тем не менее, именно вследствие большого числа войн и набегов на различные территории ятаган вполне стал популярным и среди других народов, которые, как минимум, брали на вооружение некоторые его особенности (например, рукоятки кавказских шашек). Так, М. Ю. Лермонтов, участвовавший в Кавказской войне, тоже владел турецким ятаганом.