Во время Великой Отечественной войны дворец оказался на оккупированных территориях и Янтарная комната была вывезена немецкими войсками.
В начале войны все ценности из Екатерининского дворца были вывезены в Новосибирск. Янтарную комнату решили не трогать из-за её хрупкости и на месте произвели консервацию. Впоследствии немцы демонтировали панно за двое суток. Панно оклеили сначала бумагой , затем марлей и ватой, чтобы защитить от взрывной волны. Захватив и ограбив Екатерининский дворец , немцы похитили и Янтарную комнату.
С 1942 по 1944 года панно Янтарной комнаты были смонтированы в одном из залов Королевского замка Кёнигсберга, который по размерам был существенно меньше, чем зал в Царскосельском дворце. Таким образом, с тех пор какая-то часть янтарных панно стала храниться отдельно. В августе 1944 года в результате массированного налёта английской авиации здесь случился пожар, но считается, что панели при этом почти не пострадали, янтарные панно упаковали в ящики и сложили в одном из залов замка. Ящики с панелями хранились там вплоть до начала штурма города советскими войсками. Замок был занят советской армией 9 апреля 1945 года, а 11 апреля (как было уточнено много лет спустя) начался неожиданный пожар.
Немецкий офицер, участвовавший в вывозе Янтарной комнаты из Царского Села и незаконно увезший часть её на родину в качестве «сувенира», передал его на временное хранение некоему нотариусу. Впоследствии этот нотариус попытался эту мозаику продать, но в 1997 году немецкие власти конфисковали её, его самого судили, а право владения мозаикой признали за его дочерью. Она же отказалась от претензий на янтарную панель, передав все права на неё городу Бремену, который и передал её музею-заповеднику «Царское Село». 29 апреля 2000 года министр по делам культуры ФРГ Михаэль Науман передал и. о. президента РФ В. В. Путину фрагменты подлинной Янтарной комнаты — флорентийскую мозаику и янтарный комод, изготовленный в 1711 году берлинскими ремесленниками и занимавший одно из центральных мест в меблировке комнаты.