В эпоху Канъэй [1624-44] жил невероятно сильный человек по имени Такаги Уманосукэ, который служил в клане Мори в качестве вассала. Однажды император услышал о нём и пригласил его в запретные сады. Там он, под пристальным взглядом императора, поднял груз весом в сто пятьдесят кан (562,5кг).
Долгое время считалось, что Уманосукэ, о котором идёт речь, был сыном Такаги Ориэмона, который является основателем школы дзюдзюцу Такаги-рю. Однако Ориэмон родился в 1625 году, а его сын, Уманосукэ родился в 1656 году и умер в 1717 году. Учитывая, что Мусаси умер в 1645 году, этот Уманосукэ не мог встретиться с Мусаси.
Более поздние исследования показывают, что Уманосукэ, который действительно встречался с Мусаси, вероятно, был бывшим слугой Мори Тадамасы (1570-1634), правителя княжества Цуяма в провинции Мимасака. Тадамаса был беспокойным человеком. В 1626 году его двадцатидвухлетний сын Тадахиро женился на Камэцурухимэ, приемной дочери сёгуна Токугавы Хидэтады. Для Тадамасы это был билет на место при дворе сёгуна. Но в 1630 году, в возрасте семнадцати лет, Кацурухимэ умерла, не родив детей. От горя, Тадахиро, чтобы забыть о своих бедах, обратился к женщинам и выпивке.
Чтобы исправить беспутный образ жизни сына, Тадамаса обратился к своему доверенному вассалу и силачу Уманосукэ. Желая угодить своему господину, Уманосукэ посадил Тадахиро под домашний арест и подверг его чрезвычайно суровому режиму аскетизма и интенсивных боевых тренировок. Это было слишком тяжело для изнеженного дворянина. Вскоре он заболел и после непродолжительной болезни умер в возрасте двадцати девяти лет. Смерть Тадахиро положила конец карьере Уманосукэ в качестве вассала Мори. Лишенный своего звания, он был изгнан из княжества Цуяма, с запретом на возвращение.
В течение следующих десяти лет Уманосукэ путешествовал по западным провинциям совершая муся сюгё. Возможно, именно в период своей жизни в качестве ронина Уманосукэ посетил Мусаси в Кокура. В записях Бусю дэнрайки описывается, как однажды Уманосукэ посетил Мусаси и вызвал его на поединок:
Мусаси наклонился, когда Уманосукэ бросился к нему и сильно ударил по лицу. От удара Уманосукэ отбросило назад. Прежде чем он успел осознать это, Мусаси набросился на него, ткнув большим пальцем Уманосукэ в солнечное сплетение и заставив его упасть навзничь. Уманосукэ был в ужасе, а те, кто пришел посмотреть, были ошеломлены.