ये गुफाएँ किले पर सभी जगह बाहर की तरफ़ भी फैली हुई हैं। इनमें से कई तारामती चोटी के पैर पर स्थित है, कुछ गढ़ के पास हैं, कुछ दूर जंगलों में, और कुछ मंदिर के पास हैं। एक 30 फीट (9.1 मीटर) गहरी प्राकृतिक गुफा कोकण कडा के अधिकार के लिए, किले के उत्तर पश्चिमी की तरफ है। कई अन्य जगह पे भी गुफाएँ देखी गयी है।