Будущий адмирал родился в местности Сацума, принадлежавшей клану Симадзу. Родители назвали его Накагоро, но в 13 лет он сменил имя на Хэйхатиро. В середине 19 века, правитель родной провинции Юноши, создаёт флот. На службу туда попадают и братья Того. До конца войны года дракона, они сражаются за власть императора с армией Токугава. С 1870 поступает в Токийский университет, но уже через два года его направляют учиться морскому делу в Великобританию. Вернувшись домой, он быстро двигается по карьерной лестнице. Уже в 1887 году Хэйхатиро становится капитаном первого ранга. В китайско-японской ( Того служил командиром крейсера), он потопил первый корабль в этой войне, перевозивший китайцев на корейский полуостров, а позже отличился в битве при р. Ялу. Через год после окончания боевого конфликта, Того становится вице-адмиралом японского объединённого флота, а уже в 1903 стал его полноправным командующим.
С 1904 года, адмирал надёжно блокировал вход в бухту Порт-Артура. Он не допустил прорыва, как со стороны первой тихоокеанской эскадры, так и двух других наголову разбив их.
После победы в Цусимском проливе над русским флотом З. П. Рожественского, Хэйхатиро Того удостоился высших наград японской империи и был назначен на место командующего генеральным штабом.
после 1914 года, он участвовал в принятии важных решений, однако уже не был на каких либо командных постах. После 1918 года он вышел в отставку. Бывший адмирал некоторое время занимался воспитанием будущего императора Хирахито, а после отошёл от всех дел.