Bugaj, jako majątek ziemski był wymieniony w 1789 roku, jako własność należąca do generała Augusta Gorzeńskiego herbu Nałęcz. Generał był dziedzicem sąsiednich Koryt i Dobrzycy. Później majątek przeszedł kolejno w ręce Kazimierza Turno i Heleny Wiktorii z Rogalińskich Turnowej.

W 1835 roku dobra Bugajskie kupił baron Henryk v.Kottwitz, a następnie Ludwik Bandelow.

W 1866 roku majątek odziedziczył jego syn Artur i jego żona Józefina Bandelow z Unruhów.

Od 1879r. do 1890 r. Bugaj należał do Fryderyki Bandelow baronowej v. Kottwitz.

W 1890 r. majątek kupił hrabia Józef Czarnecki herbu Prus III i odtąd był on w rękach rodziny aż do 1939 roku. Na początku lat 20 XX wieku, majątek odziedziczył Zygmunt Czarnecki ( zm. 1939 r.), a po nim wdowa Izabela z Potockich. W czasie II wojny światowej w Bugaju mieszkał przesiedlony z Łotwy baron Wiktor von Vittenhof.

Po wojnie majątek podzielił losy innych polskich dworów. Zdewastowany i zrujnowany przez kolejnych powojennych właścicieli, trafił w 2008 roku w ręce Anny i Włodzimierza Podonowskich herbu Łodzia.

W 1946 roku, na mocy reformy rolnej, zniszczony i ograbiony przez wojska radzieckie majątek, został przejęty przez Skarb Państwa.

Pierwszym zarządcą i gospodarzem została miejscowa SKR. W Pałacu mieściły się biura i mieszkania pracowników. W 1991 roku pałac kupił prywatny przedsiębiorca. Częściowa zmiana pokrycia dachowego nie uchroniła jednak obiektu od dalszej dewastacji: 

– zawalone skrzydło wschodnie korpusu głównego,

– zniszczona kopuła nad salą balową,

– powyrywana i zniszczona stolarka okienna i drzwiowa,

– całkowity brak podłóg w całym pałacu,

– skute tynki i ozdoby wewnętrzne,

– zniszczone schody wewnętrzne,

– zasypane drogi na terenie parku i reprezentacyjnego podjazdu,

– zdewastowany park i bramy wjazdowe– to tylko część ze zniszczeń dokonanych w majątku bugajskim po powojennych przemianach.