Di sinilah Khalid merasa bahwa apa yang diperjuangkan Nabi Muhammad bukanlah fanatisme kesukuan atau harta benda, melainkan sesuatu yang lebih luhur, yakni keimanan pada Allah SWT. Dengan kata lain, Nabi tidak menyimpan dendam pada orang-orang Quraisy yang telah menyingkirkannya dari Makkah.
Seperti ditulis dalam kitab Shuwar min Siyar ash-Shahabiyyat, pada suatu hari Khalid merenungkan agama Islam yang ia saksikan sendiri semakin besar pengikut dan maruahnya.
Khalid pun berkata, Demi Allah, sungguh jalan kebenaran telah tampak. Orang itu (Nabi Muhammad SAW) benar-benar utusan Allah. Lalu, sampai kapan aku memeranginya? Demi Allah, aku akan pergi menghadapnya dan masuk Islam.
Keinginan Khalid ini mendapat kecaman dari tokoh Quraisy, Abu Sufyan. Namun, Khalid tidak menyerah. Ia pun menemui Utsman bin Thalhah dan selanjutnya berpapasan dengan Amr bin al-Ash. Ketiganya pergi ke Madinah menghadap kepada Rasulullah SAW di hari pertama Bulan Shafar tahun delapan Hijriyah.
Ketika berjumpa dengan Nabi, Khalid mengucapkan salam pujian. Wajah Rasulullah berseri-seri dengan menjawab salam Khalid dan dua temannya itu.
Sesudah mengucapkan dua kalimat syahadat, Khalid memohon ampunan kepada Allah dan meminta pengertian dari Nabi akan perangainya dahulu sebagai pemimpin pasukan kafir Quraisy. Rasul pun bersabda, Sesungguhnya Islam menghancurkan dosa-dosa yang dilakukan sebelumnya (orang masuk Islam).