तूतू इमाम पैलेस/रिज़वान कैसल का निर्माण बैरिस्टर और स्वतंत्रता सेनानी सैयद हसन इमाम द्वारा 18वीं सदी में कराया गया था. हसन इमाम कुछ समय के लिए कलकत्ता हाईकोर्ट में जज भी रहे थे. हालांकि वकालत के अलावा हसन इमाम अन्य राजनैतिक कार्यक्रमों में भी सक्रिय तौर पर काम करते थे. 1905 में बंगाल से बिहार के विभाजन की मांग करने वाले नेताओं में हसन इमाम भी शामिल थे. 1906 में ढाका में हुए मुस्लिम लीग की स्थापना में भी वो मौजूद थे. उनकी मृत्यु 1933 में हुई थी. हसन इमाम ने यह जमीन मजहरुल हक़ से खरीदा था.
कैसल को गोथिक शैली में बनावाया गया है. एक किताब में भवन के बाहर बने जलमीनार का भी जिक्र मिलता है. कहा जाता है इससे ना केवल रिज़वान कैसल में पानी पहुंचता था बल्कि आसपास के घरों में भी इससे पानी जाता था.
कैसल में ऊपरी मंजिल पर सात कमरे और निचली मंजिल पर नौ बड़े-बड़े कमरे बने हुए हैं. ऊपर और निचली मंजिल को मिलाकर इस कैसल का सरफेस एरिया 40 हजार स्क्वायर फीट है, जिसमें इटालियन मार्बल लगा हुआ था. नीचे से ऊपरी मंजिल पर जाने के लिए बने सीढियों में बर्मा टिक की लकड़ी लगी हुई थी. ये सारे मटेरियल इंग्लैंड से मंगाए गये थे. कैसल की दीवारों पर प्लास्टर की जगह जिंक प्लेट का इस्तेमाल किया गया था.