Karena pengangkatan Ali bin Abi Tholib oleh mayoritas masyarakat Islam mengganti Khilafah Usman tidak pernah disetujui oleh pihak muawiyah, maka berbagai cara dilakukan oleh muawiyah untuk menurunkan atau menghancurkan Ali Bin Abi Thalib dari pemerintahannya salah satu caranya ialah muawiyah dan kelompoknya memfitnah Ali Dengan menyebarkan isu bahwa Ali lah yang ada di belakang terbunuhnya Utsman bin Affan isu ini termakan oleh beberapa pembesar di kalangan umat Islam seperti Siti Aisyah Zubair bin Awanm, dan talhah bin Ubaidillah mereka menggumumkan perang terhadap Ali bin Abi Tholib karena sewaktu mereka meminta pertanggungjawaban khalifah Ali akan kematian Utsman bin Affan, Ali dengan tegas mengatakan dia tidak tahu menahu tentang kematian Usman. Mereka lalu mengangkat perang terhadap Ali Bin Abi Thalib dengan tujuan memaksa Ali untuk mengakui perbuatannya. Perang tersebut disebut perang Jamal karena Aisyah mengendarai unta pada saat memimpin perang. Kemenangan perang berada di pihak Ali karena mayoritas masyarakat Islam mendukung Ali Bin Abi Thalib.
Kelompok muawiyah tetap membuat propaganda untuk menghancurkan pemerintahan Ali dengan cara menghimpun kekuatan besar dengan tujuan menyerang Ali Bin Abi Thalib. Tantangan muawiyah dijawab oleh Ali dengan mempersiapkan pasukan. Perang berkecamuk dan menelan banyak korban di antara kedua belah pihak yang bertikai. Perang tersebut dalam sejarah dikenal dengan nama perang Siffin karena terjadi di wilayah sifein, sebuah wilayah perbukitan antara Madinah dengan damaskus. Kemenangan perang berada di pihak Ali karena mayoritas masyarakat Islam mendukung Khalifah Ali Bin Abi Thalib. Akan tetapi seperti pada perang sebelumnya yaitu perang Jamal,m muawiyah tidak pernah menerima kemenangan Khalifah Ali Bin Abi Thalib. Sikap tidak mau menerima kekalahan itu diwujudkan muawiyah dengan mengajak damai khalifah Ali sampai tiga kali dengan cara membujuk dan merobek-robek Alquran. Pada akhirnya Ali mau berdamai karena melihat Alquran dirobek-robek oleh muawiyah.
Skenario perdamaian diatur oleh muawiyah atas ide Amru Bin Ash, dan pra perdamaian dilakukan antara muawiyah dengan Amru Bin Ash, di satu pihak dan Ali dengan Musa Asy'ari di pihak lawan. Pra perdamaian itu menyepakati untuk besok pada saat perdamaian muawiyah dan Ali Diumumkan diumumkan diturun kan dari jabatan khalifah dan diangkat khalifah yang baru atas pilihan masyarakat Islam.
Ternyata besoknya pada saat perdamaian berlangsung pada saat acara mengumkan penurunan muawiyah dan Ali, yang berdiri giliran pertama mengumkan adalah Abu Musa karena usianya lebih tua dan dia menggumumkan bahwa hari ini menurunkan Ali dari kekhalifahan.
Sementara giliran kedua Amru bin ash berdiri kemudian menggumumkan bahwa karena Ali sudah diturunkan dari khalifah, maka saya mengumum kan muawiyah menjadi khalifah yang sah. skenario perdamaian ini disebut arbitrasi.
Sikap damai Ali ternyata tidak memberi perdamaian yang sesungguhnya tetapi menambah sejarah panjang pertikaian Ali dengan muawiyah. Kelompok alis justru pecah menjadi 3 kelompok, Khawarij yang menentang keras terhadap perdamaian, Syiah yang setuju dengan sikap Ali dan murjiah yang mengambil Jalan Tengah dengan sikap diam.
Muawiyah memfungsikan kelompok keras khawarij untuk membunuh khalifah Ali dan seorang pengikut garis keras khawarij yang bernama Abdur Rahman Bin muljam suatu pagi setelah salat subuh menusuk khalifah Ali. wafatnya Ali disambut oleh pihak muawiyah dengan Suka ria, karena dengan demikian Bani Umayyah yang telah di proklamirkan pada tahun 40 hijriyah akan menjadi eksis dan menjadi satu satunya pemerintahan yang sah dalam islam.