Im 14. Jahrhundert gehörte Úsilov zum Švihover Herrschaftsgebiet und wahrscheinlich entstand zu dieser Zeit auch die Feste. Vorliegende Nachrichten über die Feste stammen allerdings erst aus dem 15. Jahrhundert in dem Vilímek von Úsilov Besitzer der Feste wurde. In der zweiten Hälfte des 15. Jahrhunderts fiel die Feste in den Besitz der Příchovskýs, die im 16. Jahrhundert ein einstöckiges Gebäude zur Feste hinzufügten, das später als neue Feste angeführt wurde. Im 17. Jahrhundert genügte es nicht mehr den Ansprüchen eines Herrensitzes und diente von da an als Bauernhof. Die älteren Teile der Festung dienten zudem noch als Stallungen. Im 18. Jahrhundert wurden Teile der Feste abgerissen und andere Teile zu einem Speicher umfunktioniert.