पौराणिक कथाओं के अनुसार, जब ब्रह्मा जी ने अहंकार वश पांचवां सिर उत्पन्न किया तो भगवान शिव ने काल भैरव रूप धारण करके उस सिर को काट दिया। तब से वे "ब्रह्महत्या" के पाप से मुक्ति पाने के लिए काशी आए और यहीं बस गए।

काल भैरव को उज्जैन और काशी दोनों नगरों का कोतवाल (रक्षक) माना जाता है। मान्यता है कि इन नगरों में प्रवेश से पहले भैरव बाबा की अनुमति लेनी चाहिए। बिना उनके दर्शन के यात्रा पूर्ण नहीं मानी जाती।

उज्जैन के काल भैरव मंदिर में एक अद्भुत चमत्कार है - मूर्ति को मदिरा का भोग लगाया जाता है और मूर्ति स्वयं उसे ग्रहण कर लेती है। यह रहस्य आज तक अनसुलझा है।