Dalam kurun waktu berikutnya, tugas untuk memegang kunci Ka’bah sempat direbut paksa oleh Bani Jarhma dan Bani Khuzaah. Namun, sejarah mencatat, tugas menjaga Ka’bah akhirnya kembali kepada yang berhak, yakni Qusai bin Kilab bin Murrah. Ia adalah kakek buyut Rasulullah SAW yang juga keturunan Nabi Ismail.
Selanjutnya segala hal yang berkaitan dengan Ka’bah dipercayakan kepada Qusai bin Kilab. Qusai memiliki tiga anak laki-laki, yakni Abd al Dar (kakek buyut dari Shaiba bin Hashim atau dikenal Abd al-Muthalib), Abd al-Manaf (kakek buyut Nabi Muhammad SAW), dan Abd al-Uzza.
Abd al-Manaf sangat dihormati di antara bani-bani lainnya. Dia dihormati karena kebijaksanaan dan ketegasannya. Hal itulah yang mendorong Qusai memercayakan pengurusan Ka’bah kepada Abd al-Manaf. Namun, sesaat sebelum wafat, Qusai memberikan hak menjaga dan mengamankan Ka’bah kepada Abd al-Dar. Hal itu dilakukan sebagai ben tuk penghormatan kepada anak tertua.
Sejak diwariskan kepada Abd al- Dar, tugas menjaga dan mengurus Ka’bah secara turun-temurun jatuh kepada anak pertama hingga pada zaman Rasulullah SAW tugas itu berada di tangan Utsman bin Talha. Menurut al-Hashemi, pada peristiwa Fathu Makkah yakni hari ketika umat Islam menang dan Kota Makkah dibebaskan, Rasulullah memasuki kota suci itu pada tahun kedelapan Hijriyah. Namun, ketika Rasulullah hendak masuk ke dalam Ka’bah ternyata Ka’bah terkunci.
Orang-orang pun bertanya siapa yang memegang kunci Ka’bah. Rupanya, saat itu kunci Ka’bah dipegang oleh Utsman bin Talha. Mereka sempat menuduh Utsman tidak beriman karena saat Rasulullah datang, Ka’bah justru dikunci.
Rasulullah kemudian meminta Ali bin Abi Thalib untuk mengambil kunci Ka’bah dari Utsman. Ali pun pergi menemui Utsman dan meminta kunci itu. Namun, di luar dugaan, Utsman menolak memberikan kunci Ka’bah kepadanya. Ali pun merebut secara paksa sehingga Rasulullah dapat memasuki Ka’bah. Di dalam Ka’bah, Rasulullah menunaikan shalat dua rakaat.
Saat itu, paman Rasulullah, Abbas bin Abdul Muthalib, meminta kunci Ka’bah untuk dijaga oleh keluarganya. Namun, kemudian malaikat Jibril turun dengan sebuah wahyu, sebagaimana yang tersurat dalam Alquran surah an-Nisa’ ayat 58, “Sesungguhnya Allah menyuruh kamu menyampaikan amanah kepada yang berhak menerimanya, dan (menyuruh kamu) apabila menetapkan hukum di antara manusia supaya kamu menetapkan dengan adil. Sesungguhnya Allah memberi pengajaran yang sebaik-baiknya kepadamu.
Sesungguhnya Allah Maha Mendengar lagi Maha Melihat.” Segera setelah turun ayat itu, Rasulullah memerintahkan Ali untuk mengembalikan kunci kepada Utsman bin Talha dan meminta maaf. Ali kemudian pergi kepada Utsman dan mengembalikan kunci itu dan meminta maaf karena merebutnya secara paksa.
Utsman pun kaget dan nyaris tak percaya ketika Ali mengembalikan kunci tersebut karena perintah Rasulullah, bahkan hingga sebuah wahyu turun untuknya. Utsman pun mengatakan, seandainya dia tahu bahwa yang meminta kunci itu adalah Rasulullah, tentu dia tidak akan menolak memberikannya. Rasulullah pun lalu memberikan kunci tersebut kepada Utsman dan mengatakan, “Terimalah ini untuk selama-lamanya, tiada terputus.”
Sejak peristiwa itu, Utsman pun memeluk Islam. Beberapa saat menjelang wafat, dia mewariskan kunci Ka’bah itu kepada saudaranya, Syaibah. Begitulah seterusnya hingga saat ini, pemegang kunci Ka’bah diwa riskan secara turun-temurun kepada keturunan Syaibah