В 1968 году Боб Дилан переехал со своей семьей в Вудсток, где начал писать и записывать новый материал с группой The Band. Позже музыкант опишет этот период как один из самых спокойных и продуктивных в своей жизни. Примерно в это время Дилан встретился с Джорджем Харрисоном. The Beatles познакомились с Диланом за много лет до этого. Фолк-певец познакомил их с марихуаной и оживил подход группы к написанию песен. Однако, когда они с Харрисоном сели писать песню "I'd Have You Anytime", Дилан, казалось, как-то изменился.
Размышляя о создании альбома All Things Must Pass с Crawdaddy, Харрисон вспоминал:
"Он почти не произносил ни слова в течение нескольких дней. В любом случае, мы наконец-то достали гитары, и это немного раскрепостило нас. Это было действительно приятное время, рядом были все его дети, и мы просто играли. Это было ближе ко Дню благодарения. Он спел мне эту песню, он очень нервничал и стеснялся, и он сказал: "Что ты думаешь об этой песне?"".
В течение следующих нескольких часов Дилан и Харрисон перебрасывались аккордами и текстами, Боб исполнил раннюю версию песни "I Threw It All Away". Я говорил ему:
"Ты пишешь невероятные тексты". А он отвечал: "Как ты пишешь эти мелодии?". И я просто показывал ему аккорды, как сумасшедший. Аккорды, потому что он обычно играл только базовые аккорды и двигал каподастр вверх-вниз. И я говорил: "Давай, напиши мне несколько слов". И это просто убило меня, потому что он делал все эти великолепные тексты. И он написал: "Все, что у меня есть, - твое, все, что ты видишь, - мое, и я рад держать тебя в своих объятиях, ты будешь моей в любое время"".
Затем Боб попросил Харрисона показать ему несколько аккордов, которые он использовал с The Beatles. Джордж начал играть Gmaj7, который он соединил с Bmaj7, Cm7, Am, Em и D, чтобы создать вступление песни.
Размышляя о песне "I'd Have You Anytime" в своих мемуарах, Оливия Харрисон объяснила, что в этой песне Джордж "напрямую разговаривал" с Диланом:
"Он знал Боба, а потом увидел Боба в другой раз, и тот уже не казался таким открытым", - сказала она. "Так что это был его способ сказать: "Впусти меня сюда. Впусти меня в свое сердце"".