Якудза как система преступных кланов начала формироваться еще в середине 17 столетия. Одним из ее основателей был Бандзуйин Тёбэй.
Первые крупные группировки начали привлекать внимание местных чиновников в 1612 году — спустя несколько лет после завершения длительного периода междоусобных войн, которыми была отмечена вторая половина 16 века. Новый этап в истории страны получил название эпохи Тогукава, по имени победителя битвы 1600 года при Сэкигахара Токугава Иэясу, провозглашенного сёгуном, или эпохи Эдо, по названию города (будущего Токио), служившего резиденцией Иэясу и его потомкам.
Это было время стремительной урбанизации, развития японских деревень и изменений в социальной и политической структуре. Однако Япония еще не была стабильной страной: наступивший мир означал, что около полумиллиона самураев, чьи лучшие навыки заключались в основном в военной службе и боевых искусствах, остались без работы. Большинство из них присоединилось к растущему классу торговцев и гражданских чиновников или нашло работу в качестве преподавателей, ученых и философов. Но было много и тех, что нашел для себя места в новой реальности.
Ронины — самураи, потерявшие хозяев, — раньше могли поступить на службу к новому феодалу, но в мирное время многим из них не оставалось ничего другого, кроме как сбиться в союзы и скитаться из города в город. В основном они «зарабатывали» грабежами и террором местного населения. Эти люди называли себя «кабукимоно».
В кабукимоно входили легендарные преступные группировки средневековой Японии, известные также как хатамото-якко, или слуги сёгуна. Они пользовались жаргоном и брали эксцентричные имена, были необычайно преданны друг другу. И хотя «слуги сёгуна» могут показаться зачинателями японской преступности, современные якудза отождествляют себя не с ними, а с противостоявшим им отрядом молодых горожан мати-якко, или «слуги города». Их предводителями были самые разные люди: лавочники, трактирщики, ремесленники, клерки. Они объединялись, чтобы отражать атаки бродячих самураев.
Со временем городские отряды начали перенимать привычки, жаргон и структуру вражеских банд, но репутация защитников слабых закрепила за ними звание благородных разбойников.
Бадзуйин Тёбэй использовал схему, которую впоследствии стали применять современные якудза — он открыл игорный притон. Карты не только привлекали рабочих, но и позволяли ему получать часть жалования, которое он им платил.