Константин Николаевич Никольский родился 1 февраля 1951 года в Москве. Родители были научными работниками. 12-летним он начал учиться игре на входившей в моду шестиструнной гитаре в ДК имени Чкалова (курс Генриха Сечкина). Константин с удовольствием вспоминал о том, как собрал свою первую гитару из логарифмических линеек.
Тёмная семиструнная гитара за 7 р. 50 к. Когда мне было лет 11 или 12, мы купили её вместе с отцом (он помогал выбирать) на Неглинке, в угловом магазине. Она промокла в пионерском лагере, потом высохла, потом сломалась и рассыпалась. В пионерских лагерях всё рассыпалось, потому что все играли у костра…
— Константин Никольский
В 15 лет он стал ритм-гитаристом образованной незадолго до этого московской группы под названием «Крестоносцы». Лидером и солистом группы был барабанщик Александр (Алик) Сикорский. «Крестоносцы» исполняли в первую очередь песни The Beatles и The Rolling Stones. Познакомившись с Никольским, которого рекомендовал ему приятель (предыдущий ритм-гитарист покинул группу), Сикорский высоко оценил мастерство начинающего музыканта; кроме того, «голоса тонировали идеально» (А. Сикорский). «Да и песни, как вскоре выяснилось, нам нравились одни и те же. И не только Битлов и Роллингов, но и Сёчерс, и Мамаз и Папаз, и Би Джиз и т. д…» (А. Сикорский). Одобрил приход Никольского и администратор группы, старший брат лидер-гитариста Ивана Лактионова и сын известного в то время художника Сергей Лактионов (создание проекта некоторые ошибочно приписывают Юрию Айзеншпису). Так и возникла легендарная группа «Атланты», выступление которой в его школе вдохновило юного Андрея Макаревича на создание «Машины времени» (смена названия объясняется тем, что теперь у всех трёх гитаристов был очень высокий рост). Вскоре Никольский начинает писать свои первые песни («Ты девчонка хорошенькая», «Алёна», «Я думал о многом и разном»), а «Атланты» — петь на русском языке.
В 1969 году Никольский, окончивший физико-математическую школу (его родной брат стал профессиональным математиком), ушёл из института и отправился служить в армию. Потерявшие сразу трёх музыкантов «Атланты» (лидер-гитарист и бас-гитарист, поступив в Медицинский институт, стали играть в музыкальном ансамбле этого вуза) были переименованы в «Осколки Сикорского».
Служа на Украине в войсках ПВО и находясь на посту, Никольский сочиняет свою знаменитую песню «Музыкант» (первое название — «Венецианский музыкант»). Во время армейской службы были написаны антивоенная песня «Ты хотел увидеть мир» и патриотическая «Россия». Как это ни удивительно, но, когда Никольский вернулся в группу Сикорского, главным хитом был не «Музыкант» (1971), а «Ты хотел увидеть мир» (1969). «Именно во время нашего выступления было отключено электричество, концерт прерван, а запись, которую мы впервые решили сделать, испорчена. Помню, я уехал на дачу в мрачном настроении, а когда на следующий день решил прослушать запись концерта, то был поражён бешеной экспрессией песни „Ты хотел увидеть мир“, которую удалось записать целиком, а также рёвом зрителей. Впечатление было такое, как будто я по радио поймал прямую трансляцию концерта Джими Хендрикса или кого-то в этом роде, но только не советскую команду»