Setelah Nabi Muhammad SAW tiba di Madinah, beliau diangkat menjadi pemimpin penduduk kota itu. Ia segera meletakkan dasar-dasar kehidupan yang kokoh bagi pembentukan suatu masyarakat baru. Dasar pertama yang yang ditegakkan adalah Ukhuwah Islamiyah (persaudaraan di dalam Islam) yaitu antara kaum Muhajirin (orang-orang yang hijrah dari Mekah ke Madinah) dengan kaum Anshar (penduduk Madinah yang masuk Islam dan membantu kaum Muhajirin). Nabi Muhammad SAW mempersaudarakan individu-individu kaum Muhajirin dengan individu-individu kaum Anshor, dengan persaudaraan semacam ini, Rasulullah telah menciptakan persaudaraan baru, yaitu persaudaraan berdasarkan agama.

     Dasar kedua adalah sarana terpenting untuk mewujudkan rasa persaudaraan tersebut, yaitu tempat pertemuan. Sarana yang dimaksud adalah Masjid. tempat untuk melakukan ibadah kepada Allah SWT secara berjamaah yang juga dapat digunakan untuk bermusyawarah. Nabi Muhammad SAW merencanakan pembangunan masjid itu serta ikut langsung membangun bersama-sama kaum muslimin, masjid yang dibangun ini kemudian dikenal dengan nama Masjid Nabawi.

    Di dekat masjid itu, di bangun pula tempat tinggal Nabi Muhammad SAW beserta keluarga. Dasar ketiga adalah hubungan persahabatan dengan pihak-pihak lain yang bukan beragama Islam. Di Madinah, selain orang-orang Arab Islam juga masih terdapat golongan masyarakat Yahudi dan orang-orang Arab yang masih menganut agama nenek moyang mereka. Masyarakat yang dibentuk oleh Nabi Muhammad SAW di Madinah sudah dapat dikatakan sebagai sebuah negara, dengan Nabi Muhammad sebagai kepala negaranya.

    Dengan terbentuknya negara Madinah, Islam semakin bertambah kuat. Perkembangan Islam yang pesat itu membuat orang-orang Mekah menjadi resah, mereka takut kalau-kalau umat Islam memukul mereka dan membalas kekejaman yang pernah mereka lakukan. Mereka juga khawatir, kafilah dagang mereka ke Suriah akan di ganggu atau dikuasai oleh kaum muslimin.