احتلّ الإغريق أراضي فلسطين، وخضعت للإسكندر المقدوني (حوالي عام 332 ق.م)، ثم لخلفائه البطالمة، ثم للسلوقيين، ولم تلبث المدينة حتى خضعت لحكم الإمبراطورية الرومانية، وكان من أوائل الحكام وأبرزهم الذين عينهم الرومان لحكم القدس الحاكم هيرودس (حوالي عام 37 ق.م)، وقد قام بتجديد بناء البيت المقدس (حوالي عام 20 ق.م)، كما أقام قلعة عظيمة بباب الخليل (يطلق عليها اليهود الآن اسم "قلعة داود").^[17] وفي تلك الفترة تذكر المصادر الإسلامية بعثة النبي عيسى بن مريم وزكريا وابنه يحيى بن زكريا إلى بني إسرائيل في القدس، حيث كان يحيى يعظهم داخل المسجد الأقصى، كما يفيد الحديث النبوي: «فجمع يحيى بن زكريا بني إسرائيل في بيت المقدس حتى امتلأ المسجد فقعد على الشرف فحمد الله وأثنى عليه ثم قال إن الله أمرني بخمس كلمات أن أعمل بهن وأمركم أن تعملوا بهن..»،^[21] كما يذكر الإنجيل الذي بين أيدي النصارى اليوم أن عيسى بن مريم أنكر على بني إسرائيل انحرافهم عن عبادة الله تعالى داخل المسجد الأقصى، وتحويلهم إياه إلى مكان للبيع والشراء.^[22]
وبعد النبي عيسى بن مريم بحوالي 300 عام، انقسمت الإمبراطورية الرومانية إلى الإمبراطورية الرومانية الغربية في الغرب، والإمبراطورية البيزنطية في الشرق، وبقيت الإمبراطورية البيزنطية هي المسيطرة على القدس، فأصبحت القدس مدينة نصرانية، وبنوا فيها كنيسة القيامة، أما المسجد الأقصى فبقي متروكاً كما هو دون بناء. وفي عام 614 احتل الفرس مدينة القدس بمعاونة اليهود، وذلك بعد حرب طويلة ضد البيزنطيين الروم، وقد وقع ذلك في الفترة التي بُعث فيها النبي محمد في مكة، إذ يذكر القرآن قصة الحروب في سورة الروم:  غُلِبَتِ الرُّومُ  فِي أَدْنَى الْأَرْضِ وَهُمْ مِنْ بَعْدِ غَلَبِهِمْ سَيَغْلِبُونَ  .^[23] وما لبث أن عاد البيزنطيون الروم إلى الحكم عام 624، وفي تلك الفترة أصبحت أرض المسجد الأقصى مكبّاً للنفايات، وذلك انتقاماً من اليهود، إذ كانت الصخرة المشرفة قبلة لهم.^[24]