Старинное здание с высокими колонами, увенчанными портиком, построено в конце XVIII века, в 1782 году. Особняк принадлежал купцу Василию Селиванову.
Дом Селиванова стал одним из первых каменных зданий в городе. Он выполнен в духе позднего классицизма: здание украшают колоны, высокие окна и декоративная лепнина. Возле особняка возвели хозяйственные и садовые постройки и два одноэтажных флигеля.
Семья Селивановых жила в усадьбе до конца XIX века. С 1887 года дом сдавали в аренду, а первым арендатором стала мужская гимназия. Здесь же размещалось дворянское собрание. С 1904 года здание занимала женская гимназия Федченко-Якубович. После революции особняк национализировали. В разные годы здесь размещались клуб железнодорожников, «Теплоэнергомонтаж» и «Белгородэнерго». В советское время здание много раз ремонтировали и делали перепланировку комнат.
В 1999 году усадьбу отреставрировали и разместили здесь Белгородский государственный литературный музей. В экспозиции музея хранятся картины, скульптуры, редкие книги и монеты.