Дворец Олега — памятник архитектуры XVII–XIX веков. Это самое большое гражданское здание Рязанского кремля, имеющее площадь 2 530 кв. м. Оно сооружено на участке кремля, где до XVI века находился княжеский двор. Дворец Олега — это бывшие жилые палаты рязанских архиереев, в здании также размещалась их домовая церковь, братские кельи и хозяйственные службы.

Прямоугольное в плане каменное трехэтажное здание возводилось поэтапно: первые два этажа (архитектор — Ю. К. Ершов) — в середине XVII века, третий этаж (архитектор — Г. Л. Мазухин) — в конце XVII века. Позднее (1778–1780) архитектор Я.И. Шнейдер сделал пристройку к восточной стороне здания, увеличив его длину до 94 м. В XIX веке эта часть дворца была перестроена губернским архитектором С.А. Щеткиным.

Здание полностью музеефицировано, сегодня здесь расположены экспозиции и выставки музея-заповедника, хранятся фондовые коллекции.