В июне 1828 года известные в Москве чаеторговцы Василий Николаевич и Петр Николаевич Усачевы приобрели участок земли у купеческой вдовы Степаниды Невежиной на высоком берегу реки Яузы. Впоследствии участок этот был значительно расширен. По их заказу в 1829-31гг. архитектором Д. Жилярди (при участии А. Г. Григорьева) был отстроен усадебный комплекс, во многом сохранившийся до наших дней. Петр Николаевич был страстным садоводом-любителем, им был oстроен регулярный парк с образцовыми оранжереями, пользовавшимися в Москве известностью и посещавшимися москвичами. Усачевы были так популярны в Москве, что даже сам Высокояузский мост назывался «усачевским».
После смерти Петра Николаевича в 1848г. усадьба постепенно стала приходить в упадок. В 1854г. имение Усачевых было продано Герасиму Ивановичу Хлудову, занимавшему до этого особняк неподалеку (Земляной вал, 56). Около трех лет понадобилось Г. Хлудову, чтобы обустроить владение по собственному вкусу.
Об этой усадьбе так было написано в журнале «Исторический Вестник» за 1893г.:
"... дом, принадлежащий наследникам Гер. И. Хлудова, стоит у самого спуска к Высокому мосту. Прежде он принадлежал купцам Усачевым и чуть не сделался настоящим дворцом: Великая Княгиня Елена Павловна так прельстилась его изящною в своей простоте архитектурой, значительно напоминающей Останкинский дом графов Шереметевых, чрезвычайно внушительной наружностью и счастливым местоположением на гребне возвышенного холма, что выражала настойчивое желание приобрести его в собственность, и только когда это по каким-то причинам оказалось невозможным, приобрела недвижимость на Остоженке".
Художником Боголюбовым была написана картина «Вид на Москву из Хлудовского сада», по которой можно судить о великолепном местоположении усадьбы и прекрасном виде, открывавшемся на город. Картина эта в настоящее время находится в музейной экспозиции усадьбы Кузьминки.
Далее в том же «Историческом Вестнике» можно прочитать:
"... дом свой Герасим Иванович вел на самую утонченную ногу, да и сам смахивал на англичанина. У него не раз пировали министры финансов и иные тузы финансовой администрации. Сад при его доме, сползавший к самой Яузе, был отделан на образцовый английский манер и заключал в себе не только оранжереи, но и птичий двор, и даже зверинец. Прожил Герасим Иванович более полжизни в этом доме безмятежно и благополучно, приумножая богатство, возвышая свою коммерческую репутацию ...".
При Хлудовых усачевский усадебный парк был расширен и обогащен тропическими и субтропическими растениями, в дом и сад была проведена вода из мытищинского водопровода, в главном корпусе было устроено калориферное отопление. Хлудовский дом задавал тон всей московской буржуазии. Гостей поражал парк с редкими породами деревьев: туи, серебристых елей, карельских берез, кедров; в теплой оранжерее, построенной в 1880г., выращивались пальмы, мандарины, апельсины, лимоны, изумительные розы и белые гортензии.
Герасим Иванович был коллекционером, с 1850-х гг. в усадьбе появилась картинная галерея.Начало ей положили картины тогда еще юного В. Г. Перова «Приезд станового на следствие» (1851) и «Первый чин дьячковского сына» (1858). Затем появились «Разборчивая невеста» П. А. Федотова, «Вирсавия» К. П. Брюллова (эскиз), пейзажи И. К. Айвазовского и А. П. Боголюбова.
После смерти Г. И. Хлудова в 1885г. усадьба перешла к его наследницам — четырем дочерям, имевшим к тому времения свои семьи. Коллекция картин была поделена между наследницами. Усадьбу вскоре выкупила у своих сестер Александра Г. Найденова. В усадьбе Найденова не жила, имея собственный дом на Покровском бульваре, но поддерживала в ней идеальный порядок вплоть до революции и национализации.