Идея создания музея архитектуры родилась в России еще в конце XIX века под влиянием возросшего интереса к национальному наследию. Материал, накопленный различными учреждениями и музеями в XIX веке в процессе исследования и реставрации памятников архитектуры, нуждался в обобщении. Возникла потребность в научно-просветительском центре более высокого уровня и нового типа — в музее архитектуры.

Музей был учрежден 1 января 1934 г., одновременно с учреждением Академии архитектуры СССР, подразделением которой он являлся. В нем работали крупнейшие отечественные специалисты по истории и теории архитектуры. В 1935 г. ему были переданы территория и постройки Донского монастыря. Основная экспозиция разместилась в Большом соборе. Внутри монастырских стен под открытым небом установили художественные фрагменты разрушенных памятников, спасенные сотрудниками музея и ставшие частью коллекции.

Объектом музейного собирания и показа была заявлена мировая архитектура от древних времен до XIX в. Фонды музея объединяли материалы по русской архитектуре, составлявшие большую часть собрания, с материалами по европейскому, византийскому, ближневосточному зодчеству. Имелись даже такие экзотические экспонаты, как образцы-макеты новозеландских хижин и индокитайских свайных жилищ. Ключевым предметом показа стали сами сооружения монастыря и сохранившийся некрополь XVIII–XIX вв.