Свою историю музей ведет с 1 мая 1910 г., когда стараниями основателей Ростовского общества истории, древностей и природы М.Б. Краснянского, А.М. Ильина, «табачного короля» и благотворителя В.И. Асмолова в специально построенном здании в Думском проезде городской музей принял первых посетителей.

Пережив беды революции и Гражданской войны, в 1920 г. музей возобновил свою деятельность как Донской областной советский музей искусств и древностей. В связи с образованием в 1926 г. Северо-Кавказского края было решено реорганизовать Донской музей и создать Северо-Кавказский музей горских народов. Когда в 1934 г. был образован Азово-Черноморский край, Музей горских народов потерял свою актуальность. В 1937 г., в связи с образованием Ростовской области, в здании на ул. Пушкинской, 204 был создан Областной музей краеведения.

7 ноября 1957 г. музей открыл двери для посетителей в бывшем здании товарищества «Гельферихъ-Саде» (начало ХХ в.), расположенном на центральной улице Ростова-на-Дону. В 1973 г. стал первым провинциальным музеем, открывшим зал редких и драгоценных экспонатов по типу золотой кладовой Эрмитажа.

В настоящее время коллекция музея насчитывает около 400 тысяч экспонатов, он известен в стране и за рубежом своими археологическими и этнографическими коллекциями.