कथाओं और किम्वादंतियों के अनुसार कालिदास शक्लो-सूरत से सुंदर थे और विक्रमादित्य के दरबार के नवरत्नों में एक थे। कहा जाता है कि प्रारंभिक जीवन में कालिदास अनपढ़ और मूर्ख थे।
कालिदास की शादी विद्योत्तमा नाम की राजकुमारी से हुई। ऐसा कहा जाता है कि विद्योत्तमा ने प्रतिज्ञा की थी कि जो कोई उसे शास्त्रार्थ में हरा देगा, वह उसी के साथ शादी करेगी। जब विद्योत्तमा ने शास्त्रार्थ में सभी विद्वानों को हरा दिया तो अपमान से दुखी कुछ विद्वानों ने कालिदास से उसका शास्त्रार्थ कराया। विद्योत्तमा मौन शब्दावली में गूढ़ प्रश्न पूछती थी, जिसे कालिदास अपनी बुद्धि से मौन संकेतों से ही जवाब दे देते थे। विद्योत्तमा को लगता था कि कालिदास गूढ़ प्रश्न का गूढ़ जवाब दे रहे हैं। उदाहरण के लिए विद्योत्तमा ने प्रश्न के रूप में खुला हाथ दिखाया तो कालिदास को लगा कि यह थप्पड़ मारने की धमकी दे रही है। उसके जवाब में कालिदास ने घूंसा दिखाया तो विद्योत्तमा को लगा कि वह कह रहा है कि पाँचों इन्द्रियाँ भले ही अलग हों, सभी एक मन के द्वारा संचालित हैं।
विद्योत्तमा और कालिदास का विवाह हो गया तब विद्योत्तमा को सच्चाई का पता चला कि कालिदास अनपढ़ हैं। उसने कालिदास को धिक्कारा और यह कह कर घर से निकाल दिया कि सच्चे पंडित बने बिना घर वापिस नहीं आना। कालिदास ने सच्चे मन से काली देवी की आराधना की और उनके आशीर्वाद से वे ज्ञानी और धनवान बन गए। ज्ञान प्राप्ति के बाद जब वे घर लौटे तो उन्होंने दरवाजा खड़का कर कहा - कपाटम् उद्घाट्य सुन्दरी (दरवाजा खोलो, सुन्दरी)। विद्योत्तमा ने चकित होकर कहा -- अस्ति कश्चिद् वाग्विशेषः (कोई विद्वान लगता है)।
इस प्रकार, इस किम्वदन्ती के अनुसार, कालिदास ने विद्योत्तमा को अपना पथप्रदर्शक गुरु माना और उसके इस वाक्य को उन्होंने अपने काव्यों में जगह दी। कुमारसंभवम् का प्रारंभ होता है- अस्त्युत्तरस्याम् दिशि… से, मेघदूतम् का पहला शब्द है- कश्चित्कांता… और रघुवंशम् की शुरुआत होती है- वागार्थविव… से।