Алексей Константинович Толстой был знатоком древнего русского быта, нравов и обычаев — он испытывал особое пристрастие к старине, умел подмечать ее присутствие в окружающей его жизни. Роман «Князь Серебряный» насыщен большим количеством важных сведений об истории Руси, развивает и обогащает историческое и эстетическое мышление читателя.
Над романом писатель начал работать с конца 40-х годов XIX века — исторические песни о временах Ивана Грозного породили в нём желание написать о том времени: показать ужасы тирании и безмолвие народа. Источником вдохновения для писателя стал период правления императора Николая I (отца Александра II) — тяжелое время для интеллигенции того времени, ибо «… всё дышало в нём земным божеством, всемогущим повелителем, всё отражало его незыблемое убеждение в своём призвании. Никогда этот человек не испытал тени сомнения в своей власти или в законности её. <…> он с глубоким убеждением и верою совмещал в своём лице роль кумира и великого жреца этой религии» ((с) дневник фрейлины Анны Тютчевой).
В образах людей XVI века писатель хотел отобразить ту ситуацию, которую видел вокруг себя с жестоким государем, окружающими его подлыми прихлебателями и безмолвным народом, страдающим от произвола. Чтобы изобразить историю того периода с нескольких углов зрения, писатель использовал «Сказания князя Курбского» — сборник писем опального дворянина, который открыто выступал против Ивана Грозного и критиковал его методы правления. Привлекавший его образ Толстой сперва разрабатывал в балладах: «Василий Шибанов», «Князь Михайла Репнин», «Старицкий воевода», где славились добродетели бояр и служивых, неповинно загубленных, людей. Но роман же продвигался туго… В полной мере замысел удалось исполнить только после смерти Николая I. Наступившая затем предреформенная «эпоха гласности» ещё немного развязала руки — в 1859-1861 годах Алексей Константин интенсивно работал над «Князем Серебряным».
Толстой много и глубоко прорабатывал источники. Главной опорой для него была, конечно же, «История» Карамзина (оттуда были взяты целые эпизоды). Для создания картин народной жизни, описания внутреннего, духовного мира людей Древней Руси, постижения народного языка писатель изучал популярные в его время монографии и труды И.П. Сахарова («Сказания русского народа», «Песни русского народа», «Русские народные сказки»), ценными были для него новейшие исследования и собрания текстов П.А. Бессонова «Калики перехожие», В. Варенцова «Духовные стихи». Много взял он материала из книги А.В. Терещенко «Быт русского народа» (в частности, указания на то, что слуги на царских обедах три раза переменяли платье!) и др.
При этом Толстой старался по возможности смягчить исторические подробности из летописей и писем, чтобы не травмировать читателя описаниями кровавых событий. В предисловии к роману Толстой замечает: «В отношении к ужасам того времени автор оставался постоянно ниже истории. Из уважения к искусству и к нравственному чувству читателя, он набросил тень и показал их по возможности в отдалении. При чтении источников книга не раз выпадала у автора из рук, и он бросал перо в негодовании, не столько от мысли, что мог существовать Иоанн IV, сколько от той, что могло существовать такое общество, которое смотрело на него без негодования. Это тяжёлое чувство постоянно мешало необходимой в эпическом сочинении объективности и было отчасти причиной, что роман, начатый более десяти лет назад, окончен только в настоящем году».
В одном из писем супруге (1856, 13 декабря) Толстой сетует на бесцветность главного героя романа: «Я часто думал о характере, который надо было бы ему дать, я думал сделать его глупым и храбрым… Нельзя ли было бы его сделать очень наивным… то есть сделать человека очень благородного, не понимающего зла, но который не видит дальше своего носа… и никогда не видит отношения между двумя вещами…»
Чтобы погрузить читателя в описываемое время, Толстой осторожно, но намеренно архаизировал общеупотребительные слова и обороты («богачество» вместо «богатство», «печаловаться» вместо «печалиться» и т. д.).
По окончании работы Толстой не спешил с публикацией своего единственного романа из-за опасений цензурных придирок и сокращений. «Если сильный авторитет может иметь влияние на цензуру, то скажу Вам, что императрица <Мария Александровна, супруга императора Александра II> два раза слушала чтение «Серебряного» в присутствии государя», — писал автор издателю «Русского вестника». За чтение в Зимнем дворце в 1861 г. граф Толстой получил от императрицы золотой брелок в виде книги, на одной стороне которой отчеканено славянской вязью имя «Мария», а на другой — надпись «В память Князя Серебряного». Страницы книги выполнены в виде золотых пластинок с крошечными фотографиями слушательниц.
Возможно, именно благодаря дружбе с Александром I, роман и был опубликован без купюр.
В 1862 г. императрица высказала пожелание, чтобы издание романа сопровождалось иллюстрациями — молодой художник Вячеслав Шварц выполнил их пером, с них затем были сделаны фото, послужившие основой для хромолитографий. Это был один из первых в России примеров использования фотографии книжными иллюстраторами!