Ketika Khalid bin Walid masuk Islam, Rasulullah sangat bahagia karena Khalid mempunyai kemampuan berperang yang dapat membela panji-panji Islam.
Adanya Khalid di barisan Kaum Muslimin meninggikan kalimatullah dengan perjuangan jihad. Dalam banyak kesempatan Khalid diangkat menjadi panglima perang dan menunjukkan hasil kemenangan.
Pada masa pemerintahan Abu Bakar, Khalid bin Walid ditunjuk menjadi panglima yang memimpin sebanyak 46.000 pasukan, Khalid tak gentar menghadapi tentara Byzantium dengan jumlah pasukan mencapai 240.000.
Uniknya, Khalid malah khawatir tidak bisa mengendalikan hatinya karena pengangkatannya dalam peperangan yang dikenal dengan Perang Yarmuk itu.
Dalam Perang Yarmuk, jumlah pasukan Islam yang dipimpin Khalid bukan saja tidak seimbang dengan musuh. Khalid memimpin pasukan tanpa persenjataan yang lengkap, tidak terlatih plus kualitas yang rendah.
Ini berbeda dengan angkatan perang Romawi yang bersenjata lengkap dan baik, terlatih dan jumlahnya lebih banyak. Hanya, bukan Khalid namanya jika tidak mempunyai strategi perang.
Khalid membagi pasukan Islam menjadi 40 kontingen dari 46.000 pasukan Islam untuk memberi kesan seolah-olah pasukan Islam terkesan lebih besar dari musuh.
Strategi Khalid ternyata sangat ampuh. Saat itu, taktik yang digunakan oleh Romawi terutama di Arab utara dan selatan ialah dengan membagi tentaranya menjadi lima bagian; depan, belakang, kanan, kiri dan tengah.
Heraklius telah mengikat tentaranya dengan besi antara satu sama lain. Ini dilakukan agar mereka jangan sampai lari dari peperangan.
Kegigihan Khalid dalam memimpin pasukannya membuat hampir semua orang tercengang. Pasukan Islam yang jumlahnya jauh lebih sedikit itu berhasil memukul mundur tentara Romawi dan menaklukkan wilayah itu.
Perang yang dipimpin Khalid lainnya adalah perang Riddah (perang melawan orang-orang murtad). Perang ni terjadi karena suku-suku bangsa Arab tidak mau tunduk lagi kepada pemerintahan Abu Bakar di Madinah. Mereka menganggap, perjanjian yang dibuat dengan Rasulullah batal setelah Rasulullah wafat.
Mereka pun menentang Abu Bakar. Karena sikap keras kepala dan penentangan mereka yang dapat membahayakan agama dan pemerintahan. Maka Abu Bakar mengutus Khalid bin Walid untuk menjadi jenderal pasukan perang Islam untuk melawan kaum murtad tersebut. Khalid berhasil memberikan kemenangan.
Masih pada pemerintahan Abu Bakar, Khalid bin Walid dikirim ke Irak dan dapat menguasai Al-Hirah pada 634 M. kemudian Khalid bin Walid diperintahkan oleh Abu Bakar meninggalkan Irak untuk membantu pasukan yang dipimpin Usamah bin Zaid.
Diantara peperangan, terselip kisah menarik dari Khalid bin Walid. Meski dikenal sebagai ahli siasat perang, mahir segala senjata, piawai dalam berkuda, dan karismatik di tengah prajuritnya, Khalid bukan orang sombong. Dia pun berlapang dada walaupun dia berada dalam puncak popularitas.
Hal ini ditunjukkannya saat Khalifah Umar bin Khathab mencopot sementara waktu kepemimpinan Khalid bin Walid tanpa ada kesalahan apa pun. Menariknya, ia menuntaskan perang dengan begitu sempurna. Setelah sukses, kepemimpinan pun ia serahkan kepada penggantinya, Abu Ubaidah bin Jarrah.
Khalid tidak mempunyai obsesi dengan ketokohannya. Dia tidak menjadikan popularitas sebagai tujuan. Itu dianggapnya sebagai sebuah perjuangan dan semata-mata mengharapkan ridha Sang Maha Pencipta. Itulah yang ia katakan menanggapi pergantiannya, “Saya berjuang untuk kejayaan Islam. Bukan karena Umar!”
Jadi, di mana pun posisinya, selama masih bisa ikut berperang, stamina Khalid tetap prima. Itulah nilai ikhlas yang ingin dipegang seorang sahabat Rasulullah seperti Khalid bin Walid.
Khalid bin Walid pun akhirnya dipanggil oleh Sang Khaliq. Umar bin Khathab menangis. Bukan karena menyesal telah mengganti Khalid. Tapi ia sedih karena tidak sempat mengembalikan jabatan Khalid sebelum akhirnya “Si Pedang Allah” menempati posisi khusus di sisi Allah SWT.