Ketika berhasil mematahkan perlawanan Kaisar Nicephorus dari Imperium Byzantium di wilayah Asia Kecil, Khalifah Harun Ar-Rasyid kembali ke wilayah Bagian Timur.
Di sana terjadi pergolakan yang dipimpin Rafi’ bin Al-Laits bin Nashar. Mereka sudah berhasil menduduki Samarkand dan kota-kota sekitarnya. Ketika memasuki kota Thus yang terletak antara kota Nishapur dan Merv, Khalifah Harun Ar-Rasyid jatuh sakit. Beberapa saat kemudian ia meninggal dunia.
Putra termuda sang Khalifah, Shalih bin Harun, segera mengambil baiat dari seluruh pasukan di tempat itu untuk saudara tertuanya, Muhammad bin Harun di Baghdad. Selanjutnya, ia mengirimkan utusan ke Baghdad untuk menyampaikan berita kemangkatan sang Khalifah dan mengirimkan Al-Khatim (stempel kebesaran) dan Al-Qadhib (tongkat kebesaran), serta Al-Burdah (jubah kebesaran) pada Muhammad bin Harun.
Begitu mendengar berita wafatnya sang ayah, Muhammad bin Harun yang menjabat gubernur Baghdad segera menuju Masjid Agung Baghdad. Berlangsunglah baiat secara umum. Muhammad bin Harun Ar-Rasyid menjabat khalifah keenam Daulah Abbasiyah pada usia 24 tahun. Dalam sejarah, ia dikenal sebagai Khalifah Al-Amin (809-813 M).
Meninggalnya Harun Ar-Rasyid, dianggap sebagai peluang emas bagi Kaisar Nicephorus untuk membatalkan kembali perjanjian damai dengan Daulah Abbasiyah. Ia segera menggerakkan pasukannya untuk menyerang perbatasan bagian utara Syria dan bagian utara Irak. Khalifah Al-Amin segera mengirimkan pasukan untuk menghalau serangan itu. Berlangsung pertempuran cukup lama yang berujung pada tewasnya sang kaisar.
Di kota Hims juga terjadi pergolakan. Karena tak mampu memadamkan pemberontakan, Khalifah Al-Amin memecat Gubernur Ishak bin Sulaiman dan menggantinya dengan Abdullah bin Said Al-Harsy. Keamanan pun pulih kembali di bawah kendali gubernur baru itu.
Pada 195 H muncul seorang tokoh berpengaruh di Damaskus. Ia adalah Ali bin Abdullah bin Khalid bin Yazid bin Muawiyah bin Abi Sufyan. Karenanya, ia dikenal sebutan As-Sufyani. Tokoh ini menjadi lebih berpengaruh karena tak hanya merupakan keturunan Bani Umayyah, tetapi juga Bani Hasyim. Ibunya adalah putri Abdullah bin Abbas bin Ali bin Hasan bin Ali bin Abi Thalib. Berdasarkan silsilah keturunannya ini, ia sering berkata, “Saya adalah putra dua tokoh yang pernah bertentangan di Shiffin—maksudnya Ali bin Abi Thalib dan Muawiyah bin Abi Sufyan.
Ia menyatakan berdirinya khilafah baru di Damaskus. Namun masa pemerintahannya tidak berlangsung lama. Panglima Ibnu Baihas segera mengepung Damaskus dan menaklukkan penduduk kota itu. Sedangkan tokoh As-Sufyani melenyapkan diri entah kemana.
Di antara seluruh Khalifah Abasiyah, hanya Khalifah Al-Amin yang ayah dan ibunya keturunan Bani Hasyim (Arab). Ayahnya Harun Ar-Rasyid dan ibunya Zubaidah binti Ja’far bin Manshur masih keturunan Bani hasyim. Sedangkan Al-Makmun sendiri yang direncanakan kelak akan menjadi khalifah setelah Al-Amin, masih keturunan Iran.
Oleh sebab itu, beberapa pihak membujuk Khalifah Al-Amin untuk membatalkan hak khilafah Al-Makmun, dan menggantinya dengan putranya sendiri, Musa bin Muhammad Al-Amin. Semula Khalifah Al-Amin menolak. Tetapi karena terus didesak dan dibujuk, ia pun melakukan pembatalan itu dan mengangkat putranya sebagai calon khalifah dengan gelar An-Nathiq bil Haq.
Tentu saja tindakan ini memancing amarah Al-Makmun. Saat itu ia berada di Khurasan di tengah keluarga besarnya. Permintaan sang Khalifah yang mengundangnya kembali ke Baghdad tak ia penuhi. Bahkan ia pun dibaiat dan dinyatakan sebagai khalifah.
Mendengar kejadian tersebut, Khalifah Al-Amin segera mengirimkan pasukan ke Khurasan di bawah pimpinan Panglima Ali bin Isa bin Mahan. Al-Makmun pun segera menyiapkan pasukannya di bawah komando Thahir bin Hasan.
Kedua pasukan bertemu di kota Ray, yang saat ini dikenal dengan nama Teheran, ibukota Iran. Pertempuran pun tidak berlangsung lama. Panglima Ali bin Isa Tewas. Berita kekalahan itu sangat mengejutkan Khalifah Al-Amin. Ia pun segera mengirimkan pasukan bantuan di bawah komando Panglima Ahmad bin Mursyid dan Panglima Abdullah bin Humaid. Dalam perjalanan menuju Khurasan, terjadi perselisihan sengit antara dua panglima. Pasukan itu pun kembali ke Baghdad sebelum berhadapan dengan musuh.
Al-Makmun segera memerintahkan pasukan Thahir bin Hasan untuk terus maju ke Baghdad. Ia menambah pasukannya di bawah pimpinan Hartsamad bin Ain. Hampir satu tahun Baghdad dikepung. Karena kekurangan persediaan makanan, akhirnya pertahanan Baghdad pun runtuh.
Khalifah Al-Amin bertahan di Qashrul Manshur yang terletak di pusat kota. Setelah berlangsung penyerbuan cukup lama, istana yang dibangun oleh Al-Manshur itu pun bisa ditaklukkan. Khalifah Al-Amin tewas di tangan pasukan saudaranya sendiri. Ia meninggal pada usia 28 tahun. Masa pemerintahannya berlangsung selama empat tahun delapan bulan.