В 1912 году в здании Московской консерватории открылся Мемориальный музей имени Николая Рубинштейна  — дирижера и основателя консерватории. Со временем Музыкальный музей вышел за рамки мемориальной комнаты при консерватории и стал независимым институтом.

За время своего существования Музей получил в дар множество предметов, связанных с мировой музыкальной культурой.

Основная экспозиция музея –  «Музыкальные инструменты народов мира».

В фондах музея хранится около 1 млн. уникальных экспонатов: музыкальных инструментов, личные архивы композиторов и исполнителей, коллекции фотографий и документов и богатая коллекция живописи. 

Сегодня в состав музея входят:

— Музей-усадьба Ф. И. Шаляпина,

— Музей «П.И. Чайковский и Москва»,

— Музей-квартира композитора и директора консерватории А.Б. Гольденвейзера,

— Музей С. С. Прокофьева,

— Музей-квартира дирижера и композитора Н.С. Голованова.