袴狭城の遺構は、出石川の支流、袴狭川と八坂川の浸食によって形成された丘陵のなかほど、標高約54mから30mにかけて分布する。城は丁度集落を二分するように、東から西方向に延びる尾根に所在し、尾根先端には薬師堂(薬師如来)が鎮座する。城域は東西約160m、南北約70mを測る。集落との比高は約37mと低い。
集落のど真ん中に在りながら、従来城域としての伝承も無く、文献史料も不明である。
主郭の背後(東側)を堀切・竪掘で遮断し、2方向に延びる尾根に曲輪群を配置し、要所に堀切・竪掘と堀切を構築して防禦する縄張りである。
主郭は曲輪2(5×6m)と細長い曲輪5(8.3m×32.4m)で構築される部分であろう。曲輪1(5.2×9m)は平坦ではなく、自然地形を残した「削り残し土塁」である。土塁の高さは2.5mを測る。土塁の背後(南東側)には、深い大規模な堀切A(幅15.2m・深さ7~8m)と竪掘ア・イ(幅3.5~4m、長さ18~20m)を構築して尾根筋を遮断している。
曲輪2から北側に延びる尾根には、小規模ながらしっかり削平した曲輪3(6×9m)と曲輪4(12.4×10.3m)を設けて守備している。曲輪3の東縁には幅3.7m・高さ1.3mを測る土塁を構築している。曲輪間の段差は、曲輪2・曲輪3間が約2.5m、曲輪3・曲輪4間が約4mを測る。
曲輪5の西側は約0.8mほど高くなり、曲輪6(10×18m)と曲輪7(8×12m)を構築している。また曲輪7と曲輪9間には、堀切B(幅11.4m・深さ4m)と短い竪掘ウ・エ(幅3m・長さ7~10m)を設けている。
曲輪9(東西24m・南北22m)は袴狭城の中で最大の広さを持ち、曲輪10(10×9m)と曲輪11(15×10m)とで帯曲輪を形成している。曲輪9・10・11で事実上の主郭と考える事もできよう。
曲輪10の西下は、深い切岸(約10m)と堀切C(幅5m・深さ1.5m)を構築して守備している。また曲輪11の北側は、尾根から谷部にかけて曲輪12(12.4×5m、12×6m)・曲輪13(16.5×6m)・曲輪14(5.6×11m)・曲輪15を構築して防禦強化を図っている。
袴狭城は、曲輪9と曲輪5から北側に延びる2つの尾根に曲輪を配置し、その間の谷筋の防禦を図っているようにみえる。城は北方向に向いており、東西2つの尾根で守備された標高19.2m地点の平地(畑地)に領主居館が想定できる。
城は交通の要衝を押さえる「繋ぎの城」といるよりも、新宮城と共に集落を守備する「村の城」としての性格が強いように思われる。時期的には、南北朝期から戦国期にかけて存続した城域であろう。<豊岡市の城郭集成Ⅱより>