৬০ বছরেরও বেশি সময় আগে একটি পরিবারের উদ্যোগে প্রায় সাড়ে আট একর জমির ওপর নির্মাণ করা হয় এই মসজিদ, যা বাংলাদেশের সব মুসলমানের কাছে এক অন্যরকম মর্যাদার স্থান হয়ে উঠেছে। বায়তুল মোকাররম মসজিদটি নির্মাণ করা হয়েছে মক্কার কাবা ঘরের আদলে। যে কারণে এটি চারকোনা আকৃতির। পুরোনো এবং নতুন ঢাকার মিলনস্থল পল্টন এলাকায় এই মসজিদটি তৈরি করা হয়েছিল সেই সময়। জানা যায়, বর্তমানে এই মসজিদে একসঙ্গে ৪০ হাজার মুসল্লি নামাজ আদায় করতে সক্ষম। তাছাড়া বাংলাদেশের বৃহত্তম এই মসজিদের ইতিহাস এবং গুরুত্ব নিয়ে অনেক বইও প্রকাশিত হয়েছে।
পাকিস্তান আমলে ঢাকায় বড় শিল্প উদ্যোক্তা বাওয়ানি পরিবারের পক্ষ থেকে এত বড় মসজিদটি নির্মাণের উদ্যোগ গ্রহণ করা হয়। ১৯৫৯ সালে ‘বাওয়ানি জুট মিলস’-এর মালিক উর্দুভাষী আব্দুল লতিফ বাওয়ানি ও তার ভাতিজা ইয়াহিয়া বাওয়ানি ‘বায়তুল মোকাররম মসজিদ সোসাইটি’ গঠন করে এই মসজিদ নির্মাণের প্রকল্প হাতে নিয়েছিলেন।
ইতিহাসবিদ শরীফ উদ্দিন আহমেদ কর্তৃক সম্পাদিত ঢাকা কোষ থেকে জানা যায়, ১৯৬০ সালের ২৭ জানুয়ারি আব্দুল লতিফ বাওয়ানি মসজিদ নির্মাণের ভিত্তিপ্রস্তর স্থাপন করেছিলেন। তার ২ বছর পর ১৯৬২ সাল নাগাদ মসজিদ নির্মাণের মূল কাজ মোটামুটি শেষ হয়। তবে সম্পূর্ণ মসজিদের কাজ শেষ হয় ১৯৬৮ সালে। পাকিস্তানের সিন্ধুর একজন স্থপতি এ এইচ থারানি মসজিদটির নকশা প্রণয়ন করেছেন। ১৯৬৩ সালে বায়তুল মোকাররম মসজিদে প্রথম নামাজ পড়া শুরু হয় এবং ১৯৬৪ সাল থেকে বায়তুল মোকাররম মার্কেট চালু হয়।