اما دوران خلافت امیرالمؤمنین(ع) دارای فراز و نشیب‌های فراوانی بود. پس از کشته شدن خلیفه سوم اهل سنت مسلمین در مسجد پیغمبر(ص) جمع شده و درباره تعیین خلیفه به گفتگو پرداختند و گفتند که امور خلافت را باید بدست کسى سپرد که حقیقتاً از عهده انجام آن بر آید. در آن میان عمار یاسر و مالک اشتر و رفاعة بن رافع و چند نفر دیگر که بیش از سایرین شیفته خلافت على علیه‌السلام بودند صحبت و مردم را براى بیعت آن حضرت آماده کردند. امیرالمؤمنین(ع) که حاضر به پذیرش این خلافت نبودند، بالاخره به اصرار مسلمانان حاضر به پذیرش خلافت شدند، اما از همان ابتدا شیوه حکومت‌داری خویش را که بر محور عدالت بود، بر همگان توضیح دادند. در بخشی از خطبه خویش فرمودند به خدا سوگند (زمینها و اموالى را که عثمان باین و آن بخشیده) اگر بیابم به مالک آن برگردانم اگر چه با آن مالها زنهایى شوهر داده شده و یا کنیزانى خریده شده باشد. اما این شیوه حکومت‌داری حضرت که بر صحابه‌ای که به دنبال سهم‌خواهی و زیاده‌خواهی از حکومت بودند، گران آمد تا جایی که بنای دشمنی با حضرت را نهادند و از صف مسلمین جدا شدند و مقابل ایشان صف‌آرایی کردند.
در این بین کمتر افرادی بودند که بر عهد خود با امیرالمؤمنین(ع) باقی ماندند و قوت قلبی برای حضرت محسوب می‌شدند. مالک اشتر، عمار یاسر، حجر بن عَدی، کمیل بن زیاد، حبیب بن مظاهر، میثم تمار، اصبغ بن نباته و ... از شاخص‌ترین یاران امام علی(ع) محسوب می‌شدند. این شدت اشتیاق حضرت باعث شد، در آخرین روزهای زندگانی‌شان خطبه‌ای در وصف این یاران باوفا ایراد کنند. ظاهراً قبل از جنگ صفین بود که جعده مخزومی سکّویی برای امام(ع) نصب کرد و حضرت در مقابل جمعیت، بر روی آن رفت و به طریق ذیل به سخنرانی پرداخت.
ما ضَرَّ اِخوانُنَا الَّذینَ سَفِکَت دِماؤُهُم و هُم بِصفّین الا یَکونوا الیَوم اَحیاء،
برادران ما که خونشان در صفین ریخته شد ضرر نکردند که اگر امروز زنده بودند،
یَسیغونَ الغَصَص و یَشربونَ الرنق
خوراکشان غم و غصه و نوشیدنی شان اندوه می شد
قَد والله لَقوا الله فَوَفاهم اُجورَهم و أحلّهم دارَ الأمن بَعدَ خَوفِهم
قسم به خدا در حالی خدا را ملاقات کردند که خدا اجرشان را به تمامی داد و بعد خوف آنها را ایمن کرد
أینَ إخوانِیَ الّذینَ رَکِبوا الطَّریق ، وَ مَضَوا عَلى الحَقّ ؟
کجایند برادران من که راه حق را رفتند؟
أین عمّار، أین ابن تیهان، أین ذُو الشهادتین؟
عمار کجاست؟ ابن تیهان کجاست؟ ذوالشهادتین کجاست؟
أین نُظرائُهم مِن إخوانِهمُ الذینَ تَعاقَدُوا عَلى المُنیة و أبْردَ بِرؤوسِهم إلى الفَجَرة؟
و کجایند مثل عمار، مثل ابن تیهان، مثل ذوالشهادتین که در راه حق با هم عهد بستند و سرهایشان را برای ستمگران فرستادند؟
ثُمَّ ضَرَب علیه السلام بِیَدِهِ عَلى لِحیَتِهِ الشَّریفة الکریمة ، فَأطالَ البُکاء
حضرت به اینجا که رسید به صورت خود زد و گریه‌ای طولانی کرد
سپس فرمود:
اَوه عَلی اِخوانی الَّذینَ تَلوا القُرآن فاحکُموه؛ آه از آن بردارانم که قرآن را خواندند و آن را حَکَم قرار دادند
* وَ تَدبروا الفُرَضَ فاقامُوه؛ در واجبات اندیشیدند و با معرفت آن را برپا داشتند
* اَحیُوا السُّنَّه و اَماتُوا البِدعه؛ سنت‌ها را احیاء کردند و بدعت‌ها را می‌راندند
* دُعُوا لِلجهاد فَاجابوا؛ به جهاد دعوت شدند و آن را اجابت کردند
* وَ وُثقوا بِالقائد فَاتبعوه؛ و به قائد و راهنمای خویش ایمان داشتند و از او تبعیت کردند
ثُمَّ نادی بِاَعلی صوته : الجهاد الجهاد عبادَ اللَّه، ألا و إنّی مُعسکرٌ فی یومی هذا، فَمَن أراد الرَّواح إلى اللَّه فَلْیَخرجُ
سپس با صدای بلند فرمود: جهاد! جهاد! ای بندگان خدا! که امروز من آماده ام و هر که قصد خروج الی الله دارد با من بیاید...