Efsaneye göre bir zamanlar Kütahya’da minareden uzun, olağan üstü, dev gibi iri ve güçlü adamlar yaşarmış. Ömürleri de boyları gibi uzunmuş. Bazıları susadığında eğilip kente üç kilometre uzaklıktaki Felent çayından su içerlermiş.

Bir gün bu adamlara liderleri yan yana dizilmelerini emretmiş, dizinin bir ucu yoncalıya diğer ucu Nemrut kayasına ulaşmış. Liderleri Nemrut kayasından parçalar kestirerek oda büyüklüğünde kaya parçaları elden ele geçirilerek Gulam köyü diye bir köyün yanında işlenerek kentin yanındaki şimdiki Hisar tepeye taşınır. Bir söylentiye göre şimdiki Enne Köyünün adı bu olaydan kaynaklanır. Daha önceleri “Elele“ olan köyün adı zamanla Enne’ye dönüşmüştür..

Kalenin yapımı uzun sürer. Bedenler, örülür, saralar kururlur, su mahzenleri kazılır ve yer altı yolları yapılarak, görkemli bir kale yükselir. Bu sırada bin yaşına yaklaşmış olan başkanın, bir oğlu varmış. Kale bittikten hemen sonra henüz bıyıkları yeni terlemiş olan başkanın bu oğlu 300 yaşındaymış ve birden ölmüş. O güne kadar ölümle ilk kez karşılaşan babanın beli bükülür ve yaptığı kaleye bakar bakar;

Üç yüz yaşında oğlum öldü hamı traş

Bu diyarda ölüm olduğunu bileydim

Koymazdım taş üstüne taş der.