Дом построен в конце XVIII века. Во второй половине XIX века его приобрел и перестроил представитель влиятельного купеческого рода, промышленник и общественный деятель Иван Александрович Вахрамеев. После революции дом был передан под губернский отдел народного образования. Позднее в нем располагалось медицинское учреждение. С 2007 года здесь распологается духовная семинария Ярославской епархии.
Особняк представляет собой прекрасный образец эклектической архитектуры в стилистике позднего барокко. До наших дней сохранились фрагменты росписи рубежа XVIII – XIX веков, украшающей одну из комнат второго этажа.