Двухэтажный дом в стиле классицизма с пилястрами на углу здания и арочными окнами построен в конце XIX века для семьи Харитоненко, владельцев сахарорафинадного завода в поселке. Инициатором строительства стал Павел Харитоненко. И хотя семья жила в Москве, в свой дом в Красной Яруге изредка приезжала, чтобы поохотиться и отдохнуть.
Особняк был построен около вековых дубов. Им – около 350 лет. По преданию они посажены первыми поселенцами, которые основали Красную Яругу.
После революции здание национализировали. На первом этаже расположилась школа, а на втором – контора сахарного завода. В 1990-х здесь работала первая в Краснояружском районе гимназия с гуманитарным уклоном. С 2004 году в доме Харитоненко находится Центр дополнительного образования.
Интересный сюжет об истории сахарного завода Харитоненко смотрите в сюжете «Места знать надо» от телерадиокомпании «Мир Белогорья».