Впервые вопрос об открытии музея в г. Ростове-на-Дону был поставлен в 1862 г. городским головой А.М. Байковым с тем, чтобы он явился «хранилищем образцов народных богатств края, памятников его славного прошлого и свидетелей его современного культурного роста». Но свою историю Ростовский областной музей краеведения ведет с 1 мая 1910 г., когда стараниями основателей Ростовского Общества истории, древностей и природы М.Б. Краснянского, А.М. Ильина, «табачного короля» и благотворителя В.И. Асмолова в специально построенном здании в Думском проезде, музей принял первых посетителей, перед которыми предстали среди прочего личные вещи известного писателя Д.Л. Мордовцева, серебряные кубки военного полководца А.В. Суворова, треуголка и шпага А.М. Байкова.

Пережив беды революции и гражданской войны, с 1920 г. музей возобновил свою деятельность как Донской областной советский музей искусств и древностей, в связи, с чем были выделены средства для приобретения картин, скульптур, предметов антиквариата. Но особое внимание было уделено сбору материалов о революционных событиях 1917 г. на Дону. В связи с образованием в 1926 г. Северо-Кавказского края было решено реорганизовать Донской музей и создать Северо-Кавказский музей горских народов. 700 экспонатов были переданы во вновь созданный музей.

Когда в 1934 г. был образован Азово-Черноморский край, Музей горских народов потерял свою актуальность, его коллекции и, частично, Донского музея были вывезены в Ставрополь. На базе оставшихся решено было создать музей г. Ростова-на-Дону. В 1937 г. была поставлена новая задача: в связи с образованием Ростовской области в здании на ул. Пушкинской, 204 создать Областной музей краеведения. Уже 7 ноября 1937 г. посетители смогли познакомиться в отделе природы с геологическими и палеонтологическими коллекциями, материалами о развитии сельского хозяйства; в отделе истории — с результатами археологических раскопок на Дону; побывать на выставках «Ростов-на-Дону в прошлом и настоящем» (с демонстрацией продукции ростовских предприятий), «Религия — враг народа».