Pada pagi hari Abu Zar bangun mengambil kantong air dan tasnya berisi bekal. Dia kembali ke al-Haram.Ketika sampai di sana, dia tetap pada sikapnya, tidak akan bertanya kepada siapa pun. Yang dilakukannya hanya diam memperhatikan keadaan sekitar.
Pada hari kedua di al-Haram, dia menghabiskan waktu tanpa mengenal Nabi.Pada malam hari dia pergi ke Masjid untuk tidur dan Ali lagi melewatinya dan berkata, “Bukankah sudah waktunya seseorang tahu rumahnya?”
Abu Zar menemaninya dan tinggal di rumahnya pada malam kedua. Sekali lagi tidak ada yang bertanya apa pun. Pada malam ketiga, bagaimana pun, Ali bertanya kepadanya, “Apakah Anda tidak akan memberitahu saya mengapa Anda datang ke Makkah?”
“Hanya jika Anda akan memberi saya usaha bahwa Anda akan membimbing saya untuk apa yang saya cari.”
Ali setuju dan Abu Zar berkata, “Saya datang ke Makkah dari tempat yang jauh untuk menemui Nabi dan untuk mendengarkan dakwahnya?
Wajah Ali bersinar dengan kebahagiaan saat dia berkata, “Demi Tuhan, dia benar- benar utusan Tuhan,” dan dia memberitahu Abu Zar tentang Nabi dan ajarannya. Ali kemudian mengajak pria Gifar itu untuk berjalan keesokan harinya. Kemana? Kemana pun saya pergi, Anda harus ikut, kata Ali.
Di saat orang lain beristirahat, Abu Zar kesulitan memejamkan mata. Dia terus memikirkan siapakah nabi pembawa wahyu? Seperti apa rupanya? Benarkah wahyu yang dibawanya?
Mentari terbit. Hari terlihat begitu cerah. Ali dan Abu Zar memulai perjalanan hingga sampai ke hadapan Rasulullah.”Assalaamu alayka yaa Rasulullah,”sambut Abu Zar.
“Wa alayka salaamullahi wa rahmatuhu wa barakaatuhu, “jawab Nabi.
Abu Zar adalah orang pertama yang menyambut Nabi dengan sapaan Islam.Setelah itu, salam menyebar dan mulai digunakan secara umum. Dia adalah orang- orang yang tergolong as-sabiqunal awwalun.
Nabi menyambut Abu Zar dan mengundangnya memeluk Islam. Dia membacakan beberapa ayat Alquran untuknya, tak lama kemudian, Abu Dzar mengucapkan Syahadat, sehingga memasuki agama baru (bahkan tanpa meninggalkan tempatnya). Dia termasuk orang pertama yang menerima Islam.
Setelah itu Abu Zar tinggal bersama Nabi di Makkah. Pria itu mendapatkan banyak pencerahan dari sang Nabi. Dia juga menjadi penghafal Alquran.
Kemudian Nabi berkata kepada Abu Zar, “Jangan beritahu siapapun di Makkah tentang keislaman Anda, saya khawatir mereka akan membunuhmu.”
Abu Zar kemudian berjanji tak akan meninggalkan Makkah sampai dia pergi ke Masjid al-Haram dan mengumumkan panggilan kebenaran di tengah orang Quraisy. Nabi tetap diam. Abu Zar kemudian pergi ke Masjid. Orang Quraisy duduk dan berbicara. Dia masuk dan berada di tengah-tengah mereka dan berseru, “Wahai orang Quraisy, saya bersaksi bahwa tidak ada Tuhan selain Allah dan bahwa Muhammad adalah utusan Allah.”
Setelah mendengar seruan Abu Zar, orang Quraisy yang ketika itu menyembah berhala berdiri dan berkata, “Tangkap orang itu yang telah meninggalkan agama nenek moyang.”
Mereka menangkap dan memukuli Abu Zar. Dalam kondisi itu, Abbas bin Abdul Mutalib, paman Nabi, yang mengenal Abu Zar menghentikan aksi pemukulan itu.
Dia mengatakan kepada mereka, “Celakalah, apakah kamu membunuh seorang pria dari suku Gifar, padahal kafilah kalian harus melewati wilayah mereka?”
Mereka kemudian membebaskannya.Abu Zar kembali kepada Nabi. Rasulullah ketika itu mengingatkan kembali agar jangan menyuarakan identitas dirinya yang sudah memeluk Islam.
“Wahai Rasulullah,” kata Abu Zar, “Itu adalah kebutuhan yang kurasakan dalam jiwaku dan aku harus menyampaikannya.”
“Pergilah ke bangsamu,” perintahnya, “dan katakan kepada mereka apa yang telah Anda lihat dan dengar. Ajak mereka bersyahadat.
Abu Zar kemudian kembali ke bangsanya. Saudaranya kemudian mendatanginya dan bertanya, “Apa yang telah kamu lakukan?”Abu Zar memberitahukan dirinya menjadi Muslim. ternyata Anis sudah lebih dulu memeluk Islam. Mereka mendatangi ibunya yang kemudian menerima Islam. Sejak hari itu keluarga ini keluar tanpa kenal lelah mengundang anggota suku Gifar memeluk Islam.
Sahabat satu ini aktif dalam pertempuran Badar, Uhud, dan Khandaq. Di Madinah, dia menjadi pembantu Rasulullah. Rasul akan menepuknya dan tersenyum menunjukkan kebahagiaan.
Setelah Nabi wafat, Abu Zar tidak tahan tinggal di Madinah karena duka. Jadi dia berangkat ke gurun Suriah dan tinggal di sana selama kekhalifahan Abu Bakar dan Umar. Ketika Usman memimpin, dia tinggal di Damaskus dan melihat kekhawatiran umat Islam untuk dunia dan keinginan mereka untuk menikmati kemewahan.
Usman memintanya untuk datang ke Madinah. Di Madinah dia juga kritis terhadap pencarian orang-orang terhadap barang dan kesenangan duniawi. Khalifah ketika itu memerintahkan agar ia pergi ke Rubdhah, desa kecil dekat Madinah. Di sana ia tinggal jauh dari orang-orang, meninggalkan keduniaan dan berpegang pada sunnah Nabi.
Suatu ketika seorang pria mengunjunginya dan mulai melihat isi rumahnya tapi ternyata tak ada apa -apa . Dia bertanya kepada Abu Zar, “Di mana harta milikmu?””Kami memiliki rumah dan harta benda di sana (akhirat),” kata Abu Zar.
