Музей расположен в Спасо-Андрониковом монастыре (основанном митрополитом Алексием в 60-е годы XIV века), где в разное время подвизался святой Андрей Рублев. В древнейшем архитектурном памятнике Москвы, Спасском соборе (1420-е), до 1950 года находился архив Министерства государственной безопасности. Когда Рублева официально признали великим русским художником, лучшего места для его музея было не найти. Первоначально в музее находились только копии и фотографии. Потом сюда стали поступать иконы, списанные по ветхости из провинциальных фондов, снятые со стен фрески. Сейчас в музее 5 тысяч икон, и среди них — работы Дионисия. Кроме иконного фонда, музей владеет собранием иконных окладов, литургических предметов, рукописных и печатных книг (в том числе — богослужебных и певческих старого обряда). Где-то рядом с собором, расписанным Рублевым (фрески сохранились лишь в оконных проемах алтаря), находится его могила.
