Он входит в состав Государственного музейного объединения «Художественная культура Русского Севера» и является одним из самых первых зданий в этой коллекции.
Особняк был построен в 1786 году по типовому проекту жилого дома, но никогда не использовался в соответствии со своим первоначальным назначением. Вначале здесь располагалась Банковая контора, затем Промышленная контора, Коммерческий банк и наконец городская таможня. У здания была непростая судьба, оно несколько раз горело, дважды перестраивалось и реконструировалось.
В 1964 году здание передали в управление Музею изобразительных искусств, с 1994 года перешло под юрисдикцию музейного объединения. В течение нескольких лет здесь экспонировались коллекции древнерусского искусства, а затем музейные фонды.
С начала 1980-х годов особняк находился на реставрации. Именно 25 лет назад, 9 сентября 1998 года, после окончания работ, музей открыл обновленные залы с новой экспозицией «Портрет в старинном интерьере». Эта экспозиция позволяет проследить смену художественных стилей в дизайне интерьеров с конца XVIII до начала XX века.
Пять залов — портретный, мужской кабинет, голубая гостиная, будуар и столовая — переносят нас в давно минувшие времена. Мебель, картины, зеркала, фарфор наполняют дом духом эпохи и позволяют нам погрузиться в прошлое с его неторопливой осознанной городской жизнью.
Душа этой экспозиции — коллекция портретов, включая картины царской семьи, портретов, выполненных известными художниками, такими, как Алексей Антропов, Иван Айвазовский, Константин Маковский, Карл Лемох и многими другими.