Pada awalnya, Hajar Aswad merupakan salah satu batu yang ditemukan oleh Nabi Ibrahim AS dan Ismail AS pada saat mereka sedang membangun Ka’bah.
Nabi Ismail yang pertama menemukan batu tersebut ketika dia mencari-cari batu tambahan untuk bangunan Ka’bah.
Batu tersebut kemudian diserahkannya kepada ayahnya. Nabi Ibrahim begitu tertarik kepada batu tersebut sehingga dia menciuminya berulang-ulang kali. Ketika akan menempatkan batu tersebut pada tempatnya, mereka terlebih dahulu menggendongnya sambil berlari-lari kecil mengelilingi bangunan Ka’bah sebanyak tujuh putaran.
Dalam sejarahnya yang panjang, Hajar Aswad telah terlibat dalam peristiwa-peristiwa sejarah yang penting. Salah satu peristiwa penting tersebut melibatkan Nabi Muhammad SAW sebagai pemeran utama.
Pada sekitar lima tahun sebelum Muhammad diangkat sebagai nabi dan rasul, yakni ketika beliau berumur 35 tahun, diadakan pemugaran Ka’bah karena adanya beberapa kerusakan.
Pemugaran tersebut diadakan berdasarkan kesepakatan para pemuka kabilah suku Quraisy yang ada di Kota Makkah. Akan tetapi, terjadi perselisihan yang hampir saja mengakibatkan pertumpahan darah di antara sesama masyarakat Quraisy tersebut ketika akan menetapkan siapa yang berhak menempatkan kembali Hajar Aswad pada posisinya semula. Masing-masing tokoh Quraisy merasa paling berhak untuk menempatkan kembali batu tersebut.
Ketika perselisihan semakin memuncak, muncullah Abu Umayyah bin Mughirah Al-Makhzumi mengajukan usul agar permasalahan tersebut diserahkan kepada seseorang yang akan mengadilinya. Dia mengusulkan agar orang tersebut adalah orang yang pertama kali memasuki Masjidil Haram melalui Bab Al-Shafa pada hari itu. Usulan tersebut disetujui oleh semua pemuka Quraisy.
Ternyata, orang yang pertama kali memasuki Masjidil Haram melalui Bab Al-Shafa pada hari tersebut adalah Muhammad bin Abdullah. Maka disepakatilah Muhammad bin Abdullah sebagai orang yang akan mengadili perkara penempatan kembali Hajar Aswad tersebut.
Di sinilah semakin terlihat kualitas pribadi Muhammad bin Abdullah. Dengan kecerdasan dan kebijaksanaan yang dimilikinya, Muhammad berhasil memberikan jalan keluar yang dapat diterima semua pihak. Beliau menghamparkan sehelai kain di tanah, lalu mengangkat Hajar Aswad dan menempatkannya di atas bentangan kain tersebut.
Kemudian beliau meminta setiap pemuka kabilah Quraisy memegang masing-masing sudut dan sisi kain tersebut dan bersama-sama mengangkatnya untuk membawa Hajar Aswad ke tempatnya semula. Setelah sampai ke dekat tempat Hajar Aswad, Nabi Muhammad mengangkat dan menempatkan Hajar Aswad ke tempat aslinya.
Dengan cara demikian, para pemuka Quraisy merasa sama-sama punya andil dalam menempatkan kembali Hajar Aswad ke tempat aslinya.
Cara sederhana dan bijaksana yang ditempuh Muhammad bin Abdullah tersebut berhasil menghindarkan persengketaan yang hampir terjadi dan berhasil pula memuaskan semua pihak. Sejak saat itu, rasa percaya dan hormat kaum Quraisykepada Muhammad bin Abdullah semakin meningkat.