Podoba zahrady byla výrazně jiná, než ji známe dnes. První zahradní a parkové úpravy vznikaly v Horažďovicích již za panování Švihovských z Rýzmberka (od poloviny 16. století).

V období baroka pokračovali v budování parků Šternberkové, přičemž o vznik areálu Panské zahrady se nejvíce zasloužil Václav Vojtěch ze Šternberka. Ten kolem roku 1690 vybudoval v místě dnešní Přírodovědné stanice okrasnou zahradu s parkem a oranžerií. Jejím centrálním bodem byl ornament osmicípé hvězdy - rodového znaku mocných Šternberků. V průměru asi 70ti metrová hvězda byla tvořena živým plotem s paprskovitě vedenými cestičkami. Podobný živý ornament ještě dnes najdeme v Trojském zámku v Praze - tam jej Šternberkové vybudovali v letech 1678 - 1697.

Areál Panské zahrady je atraktivní především svou polohou blízko městského centra se zámkem a náměstí. Část severozápadní leží výše proti toku nedalekého Mlýnského náhonu a slouží coby vycházkové místo a pěší koridor k parku Ostrov, částečně pak slouží pro volnočasové aktivity obyvatel, zejména pak skautů, kteří zde mají již 90 let svoji klubovnu. V jihozápadní části zahrady se dnes nachází Přírodovědná stanice - školské zařízení, které zajišťuje vzdělávací přírodovědné aktivity pro děti a současně je záchrannou stanicí pro handocapované živočichy. V areálu stanice je rovněž k vidění řada cizokrajných dřevin.

Pramen: vysvětlující tabule v Panské zahradě - naučná stezka Prácheň realizovaná občanským sdružením Šumařina