Осип Абрамович Ганнибал это сын известного «Арапа Петра Великого» в миру Абрама Петровича Ганнибала.
В молодости Осип Абрамович служил в морской артиллерии. Уже в 1762 году он получил чин поручика, в 1770 году стал майором, а в 1772 году вышел в отставку в чине капитана 2-го ранга.
В 1773 году Осип Ганнибал женился на Марии Алексеевне Пушкиной. К тому времени он из-за своей расточительности уже наделал много долгов и женитьбой решил закрыть свои долги, взяв за невестой хорошее приданое. Марии было 28 лет, и она не была красавицей. В 1775 году у них родилась дочь Надежда. Но вскоре Осип Абрамович оставил жену и поселился отдельно в Михайловском. Здесь он снова женился — на новоржевской помещице Устинье Ермолаевне Толстых, вдове, объявив свою первую жену умершей. Вторую свою незаконную жену он также обобрал для закрытия своих долгов. Был ли он картежники не известно, однако, были слухи, что он в своем имении устроил гарем с крепостными. С 1784 года Осип Абрамович подвергался судебным преследованиям со стороны обеих своих жён: первая обвиняла его в двоежёнстве, вторая — в растрате её средств на общую сумму в 27 тысяч рублей. В 1784 году Ганнибал был приговорён к семилетнему церковному покаянию, предполагавшему пребывание в монастыре, но благодаря ходатайству родственников это наказание было заменено морской службой на Чёрном море. Выйдя в отставку, Осип Абрамович поселился в Михайловском, доставшемся ему в числе ряда других деревень при разделе отцовского наследства (1782 год), где и жил до самой смерти. Здесь им был благоустроен господский дом и заложен парк.
В дальнейшем он был заседателем Псковского совестного суда, советником наместнического правления и Санкт-Петербургского губернского правления.
У Осипа Абрамовича была только одна дочь —Надежда (1775—1836). По решению суда четвёртая часть отцовского имения Кобрино была выделена на её содержание. Ещё при жизни отца в 1796 году Надежда Осиповна вышла замуж за своего троюродного дядю Сергея Львовича Пушкина и родила восемь детей, из которых до взрослых лет дожили трое, включая сына Александра.