Оззи попал в Black Sabbath после размещения им объявления с надписью «Ozzy Zig Needs Gig» в местном музыкальном магазинчике.
Билл Уорд вспоминает о первой своей встрече с Оззи: «Он разгуливал с ботинком на верёвочке… да да, с ботинком. Я решил, что он чокнутый (смеётся)».
Первой собственной песней группы стала «Black Sabbath», написанная под впечатлением от одноимённого фильма ужасов 1963 года. Это был прогрессив-блюз, основанный на мотиве «Марс» из сюиты «Планеты» композитора Густава Холста. До этого группа играла кавер-версии песен других исполнителей.
С 1969 по 1970 годы группа играла в различных клубах, одновременно работая над собственным материалом. Однажды кто-то обратил внимание на собственную песню бирмингемской четвёрки, «Black Sabbath», зародив мысли о первой записи. Также молодые люди выяснили, что уже существует группа, названная «Earth». Поэтому они снова сменили своё название на «Black Sabbath» — по своей первой песне. В январе 1970 года группе удаётся записать свой первый альбом, занявший высокие места в английском и американском хит-парадах.
В 1971 году Оззи женился в первый раз на Тельме Райли.
В 1975 году группа решает сменить своего менеджера. Новым менеджером «Black Sabbath» становится Дон Арден — отец Шэрон Осборн, будущей супруги Оззи.
В 1977 году Оззи уходит из Black Sabbath, его заменяет Дейв Уокер. Группа начинает запись альбома «Never Say Die», однако Оззи возвращается в начале 1978 года. В это время Оззи переживал смерть отца, активно злоупотребляя алкоголем и наркотиками. По другим данным, пьянство Оззи началось задолго до этого, Айомми утверждал, что к тому моменту уже несколько лет не видел Оззи трезвым. Запись альбома протекала с большими трудностями, в частности, Оззи потребовал переписать все тексты, включая песню Junior’s Eyes, которую Оззи посвятил своему отцу. За альбомом последовал тур, после которого Оззи окончательно вышел из состава Black Sabbath.
У Айомми уже были наброски следующего альбома, «Heaven and Hell», кроме того, он успел познакомиться с Ронни Джеймсом Дио, не так давно покинувшим Rainbow и не имевшим в то время собственного коллектива.
Задачу по доведению до сведения Оззи того, что группа больше не желает работать с ним, выполнил Билл Уорд. Как Оззи, так и Тони Айомми в последующих интервью признавали, что это было именно увольнением. Впрочем, Осборн признался, что расставание с Black Sabbath стало для него облегчением.
После ухода из Black Sabbath Оззи проводил время в безделье, пока Шэрон Арден, дочь менеджера его бывшей группы, не уговорила его основать новую группу. Осборн дал объявление в газету о поиске музыкантов. Одним из гитаристов, пришедших на прослушивание, был Рэндал Вильям (Рэнди) Роадс.
Как рассказывал Роадс в одном из своих немногочисленных интервью, он не знал, с кем ему придётся работать. Придя в студию для прослушивания со своим усилителем и электрогитарой, он был проведён в пустую комнату. Там Рэнди подключил свою аппаратуру и начал «разогреваться». Неожиданно в комнате появился Оззи, вынесший вердикт «принят!» и проигнорировавший возражения гитариста о том, что он ещё и не начинал играть. По другой версии, Оззи был умилен тем, что Роадс играл по нотам.
Также к группе присоединились басист Боб Дейзли и ударник Ли Керслейк из Uriah Heep. В этом составе они выпустили первый альбом «Blizzard of Ozz» и отправились в концертный тур, первым выступлением в котором был концерт 12 сентября 1980 года в Глазго. Для выпуска своего сольного альбома Оззи Осборну требовался контракт со звукозаписывающей компанией. После многочисленных отказов Оззи в итоге сумел достичь соглашения со студией CBS, которая тем не менее не относилась к проекту с той степенью серьёзности, на которую рассчитывал Осборн, считая последнего ещё одним незначительным событием.
Для изменения впечатлений о себе в лучшую сторону Оззи, по совету Шэрон, принёс в офис компании двух голубей — с первоначальным намерением выпустить их на глазах у изумлённой публики и таким образом привлечь общественное внимание.
Трюк сработал, правда, не совсем так, как было задумано. Выпустив первого голубя — так, как и предполагалось, — Осборн неожиданно откусил голову второму. Это действо было запечатлено фотографом студии, и в скором времени фотографии появились в большинстве газет. Это вряд ли повлияло (в положительную сторону) на руководство компании звукозаписи, однако породило вполне понятную заинтересованность в Осборне среди молодёжи.
Неизвестно, было ли это действие спланировано именно так с самого начала: ни Шэрон, ни сам Оззи не прояснили мотивов этого поступка. Единственный комментарий, который сделал певец по этому поводу, заключался в признании в том, что он был сильно пьян в тот момент.