او با ابوبكر بيعت نكرد و شوراي سقيفه را بي‌ارزش خواند. برخي از محققان، تعصب قبيله‌اي، خزرجي بودن و ارتباطش با سعد بن عباده را در اين ميان مؤثر مي‌دانند.

پس از رحلت پيامبر گرامي(ص) و رويداد سقيفه، ابي بن كعب از معدود كساني بود كه با ابوبكر به مخالفت برخاست و خلافت را حق علي(ع) دانست. او از جمله ۱۲ نفري بود كه مخالف خلافت ابوبكر بودند و جانشيني وي را انكار كردند. او گواهي داد كه پيامبر(ص) حضرت علي(ع) را به عنوان جانشين و امام پس از خود و ناصح امت معرفي كرده است.

عصر روزي كه حادثه سقيفه به سود ابوبكر خاتمه يافت و او از منزل پيامبر(ص) بازمي‌گشت، در پاسخ يكي از انصار كه از وضع خاندان پيامبر پرسيد، با نگراني از حال آنان ياد كرد و گفت: چگونه مي‌شود حال كساني كه خانه آن‌ها تا ديروز محل رفت و آمد فرشته وحي و كاشانه پيامبر خدا بود و امروز جنب‌وجوشي در آن به چشم نمي‌‏خورد و از وجود پيامبر(ص) خالي است؟ از او اين روايت از پيامبر(ص) گزارش شده است: «يا أُبىّ! عليك بعلىٍ فإنه الهادى المهدىّ الناصح لأُمتى».

منابع تاريخي او را از فقيهان دوران خلفا، به ويژه عمر و عثمان، مي‌دانند. آن‌گاه كه نماز تراويح به پيشنهاد خليفه دوم به جماعت برگزار مي‌شد، ابي در سال ۱۴ق. امامت جماعت آن را بر عهده داشت؛ اما پس از چندي، گويا به علت مخالفت با اين بدعت، آن را رها كرد و مردم پيوسته مي‌گفتند: «أين أُبىّ» يا «ابقِ أُبىّ».

ابي در مسجد پيامبر(ص) مجلسي بر پا مي‌كرد و حديث‌هاي ايشان را براي مردم بازگو مي‌نمود. نيز براي جمعيت بسياري كه در خانه او گرد مي‌آمدند، حديث گزارش مي‌كرد.

او مؤسس مدرسه تفسير مدينه به شمار مي‌آيد و تفسير او از طريق نوشته‌هايش در حواشي مصحفش يا شاگردان و راويانش منتقل شده است.

يكي از راه‌هاي شناسايي سوره‌هاي مدني ومكي در قرآن، معرفي سوره‌هاي مدني از سوي ابي دانسته شده است؛ زيرا او همواره در مدينه كنار پيامبر(ص) حضور داشت و سوره‌هاي مدني را كاملا مي‌شناخت.

شأن نزول چند آيه قرآن با ابي پيوند دارد. به گزارش عكرمه و مقاتل، دو تن يهودي خطاب به ابي و جمعي از مسلمانان، دين خود را بهتر از اسلام دانستند. در پي آن، آيه {كُنتُم خَيرَ أُمَّةٍ أُخرِجَت لِلنَّاسِ تَأْمُرُونَ بِالمَعْرُوفِ وَتَنهَونَ عَنِ المُنكَرِ وَتُؤمِنُونَ بِاللهِ وَلَو آمَنَ أَهلُ الكِتَابِ لَكَانَ خَيرًا لَهُم مِنهُمُ المُؤمِنُونَ وَأَكثَرُهُمُ الفَاسِقُونَ}(1) نازل شد و دين اسلام را برتر دانست.

در گزارشي تاريخي درباره رويداد افك (تهمت به عايشه) آمده است كه ام طفيل آن‌گاه كه اين شايعه را براي همسرش ابيّ گزارش كرد، وي سخت آن را انكار نمود و دروغ خواند و گفت: همسران پيامبر از همسران ما بسيار بهترند و آن‌گاه كه اينان سراغ آن كار نمي‌روند، سزاوارتر است كه همسران پيامبر نيز چنين نكنند. سپس آيه ۱۲ نور/۲۴ نازل شد: {لَولَا إِذ سَمِعتُمُوهُ ظَنَّ  المُؤمِنُونَ وَالمُؤمِنَاتُ بِأَنفُسِهِم خَيرًا وَقَالُوا هَذَا إِفكٌ مُبِينٌ}؛ نيز پيامبر گرامي(ص) به او فرمود: خداوند امر كرده است كه بر تو قرآن بخوانم.

او از اين كه خود را مورد عنايت پروردگار ديد، متأثر شد و پيامبر اين آيه را تلاوت فرمود: {قُل بِفَضلِ  اللهِ وَبِرَحمَتِهِ فَبِذَلِكَ فَليفرَحُوا هُوَ خَيرٌ مِمَّا يجمَعُونَ}.(2) در روزگار عثمان، براي يكسان‌كردن مصحف‌ها، پس از ناتواني گروه نخست، ابي رياست گروه دوم را بر عهده داشت و او املا مي‌كرد و ديگران مي‌نوشتند. خليفه دوم علي(ع) را در داوري و ابي را در قرائت قرآن از همه برتر مي‌دانست؛ اگر چه خود مي‌گفت: گاه بر پايه قرائت ابي عمل نمي‌كنم. گويا او به برتري ابي در قرائت، باور حقيقي نداشت و يا قرائت وي گاه با اعتقادات و عملكرد خليفه سازگار نبود و از اين روي، به آن عمل نمي‌كرد.