Эта усадьба в 18-м столетии принадлежала купцу Афанасию Ивановичу Долгову. Он был родом из Калуги. В 1744 году они с братом Лукой приехали в Москву. Долговы стали вести в столице крупную заграничную торговлю пенькой (это грубое лубяное волокно, получаемое из стеблей конопли) и имели самый крупный доход среди купечества. Быстро стали купцами 1 гильдии. Но потом начали вести свои дела отдельно. Афанасий Иванович был купеческим старшиной, дважды избирался на должность ратмана второго департамента Московского городового магистрата, вел обширную общественную деятельность. А ещё он считался крупным благотворителем. И благодаря его хлопотам в одно время даже спасли от полного закрытия Симоновский монастырь. Кстати, похоронен он был именно там.
Усадьбу на Большой Ордынке для семьи Долгова построили в 1770-х годах. И, как полагают некоторые историки, под руководством Василия Баженова, который был родственником купца (в 1768 году Василий Баженов женился на Аграфене Долговой- дочери его брата Луки). Однако, авторство Василия Ивановича всё же спорно, так как архитектура здания в принципе не несёт характерных примет его творчества. Трёхэтажный особняк выполнили в классицистических формах, архитектура его была довольно проста. По обычаю того времени, главный дом усадьбы расположили в глубине владения, перед ним простирался обширный парадный двор. Он был отделён от улицы каменной оградой с решёткой. Но тот первоначальный особняк сильно пострадал при пожаре 1812-го года. Реконструировали его в 1817—1822 годах при участии архитектора Осипа Бове. И после этой перестройки усадьба стала одним из лучших образцов московского ампира.
Дом Долговых составляет ансамбль со стоящей на противоположной стороне Ордынки церковью Божьей Матери Всех Скорбящих радости. Благодаря Афанасию Долгову к зданию храма были пристроены трапезная с престолами во имя Варлаама Хутынского и иконы Божией Матери «Всех скорбящих Радость», а также трёхъярусная колокольня. Вот их проект в стиле классицизма точно был выполнен Василием Баженовым. Впервые применённый здесь архитектором тип трапезной впоследствии широко распространился в Москве. В 1812 году храм тоже пострадал от пожара. И в 1823—1836 годах старая церковь была заменена ротондой с повышенным куполом по проекту опять-таки Осипа Бове. А возводили новую постройку в стиле ампир на средства купцов Куманиных и Долгова.
В середине 19-го века усадьбу у Долговых выкупил заводчик Иван Петрович Жемочкин. Они с братом Михаилом были кожевенными «королями» Москвы. Что интересно, несмотря на национализацию их предприятий после революции, большинство детей и внуков Жемочкиных почему-то не покинули Россию и даже каким-то образом избежали репрессий. Мало того, двое внуков Михаила Жемочкина сумели сделать карьеру при Сталине! Один из них стал генерал-майором, доктором технических наук и лауреатом Сталинских премий, а другой - полковником и кандидатом технических наук. Многие из Жемочкиных похоронены в Донском монастыре.
Вначале 20-го века здание арендовала Третья женская гимназия. После революции оно стало жилым, здесь проживало около 250 человек! С середины века усадьбу занимал Институт востоковедения РАН. А в наше время тут расположился Институт Латинской Америки РАН.