Жан-Батист Жозеф Фурье был 12-м из 15 детей в семье портного (девятым во втором браке отца). Его отец, Жозеф Фурье, происходил из семьи лавочника из небольшого городка в Лотарингии. В XVI—XVII веках Пьер Фурье, двоюродный дед Жана-Батиста Фурье, был известной фигурой Контрреформации. Его мать Эдме умерла в 1777 году, когда Фурье было девять лет, в том же году скончался отец. По другим источникам, Фурье стал сиротой в возрасте восьми лет.
В своей первой школе, которой руководил церковный музыкант, Фурье показывал успехи в изучении французского и латыни. В возрасте 12 лет при содействии епископа Осера Фурье устроили в военную школу при бенедиктинском монастыре. К 13 годам Жозеф заинтересовался математикой, а в возрасте 14 лет он освоил шеститомный «Курс математики» Безу. В это же время он стал собирать свечные огарки в здании школы, чтобы иметь возможность заниматься по ночам. В 1782—1783 годах Фурье получил множество призов по риторике, математике, механике и пению. Последовавшая продолжительная болезнь, возможно, объяснялась этими усиленными занятиями.
В 17-летнем возрасте он грезил военной карьерой и хотел стать артиллеристом или военным инженером. Несмотря на поддержку школьных учителей и инспекторов Фурье получил отказ, связанный с его незнатным происхождением. В 1787 году Фурье поступил в Аббатство Святого Бенедикта на Лауре , где собирался принять сан. Вместе с тем молодой человек сомневался в своём выборе. В 1788 году он отправил свою статью по алгебре Жану Этьену Монтюкла, однако ответа не получил. Фурье покинул аббатство в 1789 году и отправился в столицу. В Париже в Королевской академии наук Фурье представил работу о численном решении уравнений любой степени.