Sejak dahulu, Islam telah mngenal sistem kehidupan masyarakat pluralis. Sistem tersebut muncul seiring dengan berdirinya negara Islam Madinah. Sejarah mencatat bahwa umat Islam memulai hidup bernegara setelah Nabi Muhammad SAW hijrah ke Yatsrib, yang kemudian berubah menjadi Madinah. Di kota ini, Nabi SAW meletakkan dasar kehidupan yang kokoh bagi pembentukan masyarakat baru di bawah kepemimpinan Rasul SAW.
Masyarakat baru ini merupakan masyarakat majemuk, yang berasal dari tiga golongan penduduk. Pertama, kaum Muslim yang terdiri atas kaum Muhajirin dan Anshar. Mereka adalah kelompok mayoritas. Kedua, kaum musyrik, yaitu orang-orang yang berasal dari suku Aus dan Khazraj yang belum masuk Islam. Kelompok ini merupakan golongan minoritas. Ketiga adalah kaum Yahudi yang berasal dari tiga kelompok. Satu kelompok tinggal di dalam kota Madinah, yaitu Bani Qainuqa. Dua kelompok lainnya tinggal di luar kota Madinah, yaitu Bani Nadhir dan Bani Quraizhah.
Sekitar dua tahun setelah berhijrah, Rasulullah SAW mengumumkan peraturan dan hubungan antarkelompok masyarakat yang hidup di Madinah. Pengumuman ini dikenal dengan nama Piagam Madinah. Piagam ini merupakan undang-undang untuk pengaturan sistem politik dan sosial masyarakat Islam dan hubungannya dengan umat yang lain: musyrikin dan Yahudi.
Melalui Piagam Madinah yang oleh sejarawan mutakhir disebut sebagai Konstitusi Madinah—Rasulullah SAW berupaya memperkenalkan konsep negara ideal yang diwarnai dengan wawasan keterbukaan, partisipasi, kebebasan (terutama di bidang agama serta ekonomi), dan tanggung jawab sosial-politik secara bersama.
Karena itu, tak salah jika istilah masyarakat madani atau masyarakat sipil (civil society) yang kita kenal saat ini sebenarnya berkaitan erat dengan sejarah kehidupan Rasulullah SAW di kota Madinah. Dalam istilah ini, terkandung makna tipe ideal seluruh proses berbangsa dan bernegara, yakni terciptanya masyarakat yang adil, terbuka, dan demokratis.