Prvá zmienka o obrannom dvorci pochádza z roku 1653. V 18. storočí vystavali neskoro barokový dvorec Szembekovia alebo Branickí. V roku 1784 panstvo od Franciszka Branického odkúpil Karol Václav Larisch a za čias jeho rodu išlo o najbohatší statok v okolí, dvorec sa dočkal prestavby na klasicistický zámok. Karol Jozef Larisch, syn Karola Václava, ho pred rokom 1840 prestaval podľa návrhu architekta Franciszka Máriu Lanciho v maurskom slohu, a v rovnakom slohu pristaval obytné budovy Kastel a Záhrady. Zámok v roku 1867 prešiel do rúk Dunin-Borkowských, v roku 1885 ho kúpil barón Oskar Rudziński, ktorý sa zasadil o rozkvet osieckého panstva, to až do prepuknutia 2. svetovej vojny patrilo jeho synom. Na zámku sa ako hostia zdržiavali popredné osobnosti: prezident Ignacy Mościcki, maršál Józef Piłsudski, generál Józef Haller a kardinál Adam Stefan Sapieha. Stálym hosťom tu bol akvarelista Julian Fałat, ktorý tu namaľoval mnoho obrazov.

V čase 2. svetovej vojny boli Rudziński prinútení panstvo opustiť, to bolo v roku 1945 zoštátnené a rozparcelované. Od roku 1959 tu pôsobí Štátne stredisko šľachtiteľského chovu.

V roku 2009 získal zámok späť dedič majiteľov Maciej Rudziński, ktorý ho v roku 2011 predal súkromnému investorovi. V paláci prebieha rekonštrukcia, ktorá ho má premeniť na hotelový komplex.

Zámok bol vystavaný na obdĺžnom pôdoryse s rizalitmi, ide o omietnutú, dvojpodlažnú budovu s poschodím pristavaným v polovici 19. storočia. Štvorcové veže a predný rizalit kryjú cibuľovité helmice na polygonálnych lucernách. Zámok korunuje arkádová atika, úzke okná uzatvárajú maurské oblúky. Predtým stáli pri vstupe dve sochy gryfov.

Vnútri sú múry a stropy pokryté majstrovskými blankytno-bielymi maľbami, mozaikami a štukami s geometrickými a vegetatívnymi motívmi. Nadsvetlíky nad priechodmi medzi sálami v tvare maurských oblúkov vypĺňajú ažúrované dekorácie kružieb. Halu s dreveným schodiskom, zábradlie a dvere zdobia orientálne motívy. Zachovali sa nápisy v arabčine. Plesovú Maurskú sálu pokrývajú arabesky, vstupy zakončujú oblúky s motívom mušlí, kryje ju kopulovitá klenba s nadsvetlíkom.

Zámok obklopuje park založený v 19. storočí, v ktorom sa zachovali staré lipy, duby, platany a tulipánovníky. Stoja v ňom klasicistické a novogotické obytné budovy. Kastel na pôdoryse písmena L je omietnutý, poschodový s polygonálnym rizalitom a rohovou, guľatou baštou s lomenými oknami. Obytný dom Záhrady je čiastočne prízemný a poschodový, má polygonálny pôdorys a štvorstennú vežu s balkónmi. Južne od parku sa zachovali budovy poplužného dvora.