Ursprünglich wurde in Žichovice in der zweiten Hälfte des 16.Jahrhunderts lediglich eine Festung von Jan Kavka Říčanský oder dessen Sohn errichtet. Daraufhin ging es über in die Hände von Jindřich Libštejnský von Kolovrat für 750.000 böhmische Groschen zusammen mit dem Meierhof, der Brauerei, dem Sägewerk, der Mälzerei, dem Forst und der Mühle. Dazu erwarb er noch das Dorf und die umliegenden Dörfer Čepice, Domoraz, Nezamyslice und Kejnice. 

Am Ort dieser alten Festung ließ Jindřich Libštejnský hier ein repräsentatives Schloss errichten. Es handelt sich um ein Gebäude mit zwei Flügeln im alpinistischen Stil mit dekoriertem Putz und einem mächtigen Giebel mit ausgeschmückten Nischen. Im Gebäude selbst befindet sich der Wohnraum seiner Besitzer, ebenso wie repräsentative Räume, aus denen besonders der weiße Saal hervorgehoben werden muss mit seinen Stuckverzierungen.

Im Schloss befindet sich auch die Kapelle des heiligen Franziskus, in der sich neben dem barocken Altar auch gotische Tafelbilder bestaunen lassen.

Im Verlauf der Zeit wechselten sich die Besitzer des Schlosses häufig und besonders ragen aus ihnen die Švihovskys von Ryzmberk hervor. Zu Beginn des 18. Jahrhunderts wurde Žichovice gemeinsam mit der Herrschaft Rabí und Žihobce vom Bischof Jan Filip von Lamberk aufgekauft. Zunächst schenkten die Lamberks ihrem Gut in Südwestböhmen nicht viel Aufmerksamkeit. 

Das änderte sich erst zu Beginn des 19. Jahrhunderts mit Evžen Karel Lamberk, einem Exsoldaten und Kunstliebhaber. Mit seiner ungewöhnlichen Art trug sich Gustav Jáchym Lamberk in die Familien- und Herrschaftsgeschichtsbücher ein, dessen Privatleben für ihn und seine Nächsten weitreichende Folgen hatte. Seine langjährige Geliebte war Kateřina Hrádková, die Tochter eines einfachen Arbeiters. Aus ihrer Beziehung gingen neun Kinder hervor. 1855 ehelichte Gustav Kateřina und ein Jahr später wurde ihr einziges eheliches Kind geboren. Nach Gustavs Tod erhielt der älteste Sohn Gustavs das Erbe, woraufhin einige Klagen vor dem Fideikommiss folgten.

Im Verlauf des 19. und 20. Jahrhunderts nutzte das Schloss die Gräfin und später der Graf von Lamberk nur minimal für Wohnzwecke. Das Schloss wurde zur medizinischen Verwaltung des Žichovicer Großgrundbesitzes. Im Schloss befanden sich Verwaltungsbüros und Arbeitsräume, sowie Wohnungen. In der nahen Nachbarschaft des Schlosses befanden sich der Wirtschaftshof, die Brauerei und die Schnapsbrennerei.

Nach dem zweiten Weltkrieg kamen einige Veränderungen auf das Schloss zu. Es wurde verstaatlich und diente als Gemeindehaus der Ortschaft Žichovice.

Quelle: Tafel bei dem Schloss