มัสยิดอัลฮะรอม ก่อนสมัยนบีมูฮัมมัด(ศ็อลฯ) บริเวณที่ตั้งของสิ่งสำคัญของอิสลามดังกล่าวข้างต้นนั้นถือเป็นศาสนสถานอันศักดิ์สิทธิ์ของชาวมักกะห์ บริเวณรอบสถานที่เหล่านี้เป็นที่เปิดโล่ง พื้นเป็นทรายและไม่มีการกั้นรั้วกำหนดเขตเป็นที่แน่ชัด และในปีฮิจเราะห์ศักราชที่ 8 ท่านนบีมูฮัมมัด(ศ็อลฯ) ใช้สถานที่แห่งนี้เป็นที่ละหมาด ต่อมาเมื่อมีมุสลิมเพิ่มมากขึ้น สถานที่แห่งนี้ก็เล็กลงตามกาลเวลา

ในสมัยคอลีฟะห์อุมัรและอุสมาน บ้านของประชาชนที่อยู่รอบบริเวณศาสนสถานสำคัญแห่งนี้จึงถูกสั่งรื้อถอนและได้มีการสร้างกำแพงกั้นบริเวณขึ้น

หลังจากนั้นก็มีการขยายพื้นที่และก่อสร้างส่วนต่างๆ ในสมัยของผู้ปกครองอาณาจักรอิสลามคนต่อๆมา เช่น การปูพื้นหินอ่อนลานเวียนรอบกะอ์บะห์ การปูพื้นและการสร้างหลังคาเหนือทางเดินสะแอ ระหว่างเนินเขาซอฟาและมัรวะห์ การสร้างหอสูงรอบเขตรั้วกั้นบริเวณ การติดตั้งเครื่องดูดน้ำและเครื่องทำความเย็นน้ำซัมซัมเพื่อเลี้ยงคนที่ไปปฏิบัติศาสนกิจ เป็นต้น

การบูรณะมัสยิดอัลฮะรอมมีขึ้นเป็นครั้งแรก โดยคอลีฟะห์อุมัร อิบนุ คอฏฏอบ ใน ฮ.ศ. 17 ต่อมาโดยคอลีฟะห์อุสมาน อิบนุ อัฟฟาน ใน ฮ.ศ. 26 โดยอัซซุเบร ใน ฮ.ศ. 65 โดยฮัจญาจ บิน ยูซุฟ อัษษะกอฟี ใน ฮ.ศ. 74 โดยอบูญัฟฟาร อัลมันซูร อัลอับบาซี ใน ฮ.ศ. 137 โดยมุฮัมมัด อัลมะฮ์ดี อัลอับบาซี ใน ฮ.ศ. 161 และ ฮ.ศ. 164