Строительство Шаровской усадьбы на берегу реки Мерчик началось в начале XIX века. Помещик Павел Ольховский велел возвести дворец и заложил на склоне двухкилометровой балки боль­шой парк. В конце XIX века владельцем замка стал сахарный король царской России Леопольд Кениг. Его заводы выпускали одиннадцатую часть рафинада в России, а их годовой оборот составлял 40 миллионов рублей.Кроме сахара Кениг владел паркетной фабрикой, деревообрабатывающим заводом и пр.Постоянно барон жил в Петербурге, а Шаровский дворец служил его летней резиденцией. Кениг полностью реконструировал дворец и парк, оборудовал террасы, теплицы с автоматическим поливом и зонированным микроклиматом, построил хозяйственные помещения, постройки для прислуги и др.

После революции 1917 года дворец, как другие подобные сооружения, был национализирован. В 1920-2008 годах в нем размещался противотуберкулезный диспансер. Ныне здание частично отреставрировано, но все еще пребывает в плачевном состоянии, открыто для посещения.За красоту и изящность белокаменное здание с двумя башенками прозвали «Белым Лебедем».