Между 2-ым и 6-ым апреля 1990 года в Мадисоне была записана первая версия песни — «Pay to play»[1] (с англ. — «Плати, чтобы играть»), длящаяся 3 минуты 28 секунд. Текст данной версии сильно отличался от конечной «Stay away», но музыкальная составляющая в дальнейшем никак не изменилась с момента записи 1990 года. «Pay to play» была спродюсирована продюсером и барабанщиком группы «Garbage» Бутчем Вигом, который в дальнейшем продюсировал второй альбом Nirvana. Также она была записана с Чэдом Ченнингом на барабанах, игрой которого на апрельских сессиях 1990 года разочаровались Крист Новоселич и Кобейн. Вскоре Чэд покинул коллектив, после чего они пригласили в группу барабанщика Дэйва Грола. «Pay to play» так и не была выпущена до смерти Курта Кобейна в 1994 году, но была включена в бокс-сет With the Lights Out в 2004 году.
Уже с новым барабанщиком Nirvana записала новую, конечную версию песни под названием «Stay away» в мае-июне 1991 года, которая и была издана в качестве 10-го трека на альбоме Nevermind.