Začátky historie hradu se datují na konec 14. století. Někdy okolo roku 1380 zde byla započata stavba.
Rozložení terénu se dvěma homolovitými skalními kužely rozhodlo o způsobu stavby. Na skalních vrcholech byly vybudovány dvě věže. Na nižším byla postavena pětiboká věž (relativní výška 47 metrů), pro kterou se později vžilo pojmenování Baba. Na vyšším a štíhlejším vrcholu byla vztyčena čtyřboká věž Panna (relativní výška 57 metrů). Mezi věžemi byl pak založen vnitřní hrad.







