آیت الله سید جعفر شبیری زنجانی نقل می کند: ایشان هیچ گاه رساله نداد که ظاهرا این کار به توصیه پدرشان بود. اما اگر پدرشان هم توصیه نکرده بودند، با توجه به روحیاتی که داشتند بازهم این کار نمی کردند. مرحوم حاج شیخ عبدالکریم حائری به پسرشان فرموده بودند: "من سراغ مرجعیت نرفتم، مرجعیت سراغ من آمد و من اشتباه کردم که قبول کردم، شما این اشتباه را نکنید."

مردی که امام درباره او گفت "وکفی به شرفا و سعاده..."
امام خمینی که از دوستان و هم درسان شیخ مرتضی حائری-فرزند استاد خویش- بودند در پیامی به مناسبت رحلت ایشان می نویسند: ایشان در علم و عمل بحق خلف بزرگوار مرحوم آیت الله العظمی، استاد معظم، حضرت آقای حاج شیخ عبد الکریم- رضوان اللَّه تعالی علیه- بودند...و کَفَی بِهِ شَرَفاً و سَعَادة...

این جانب از اوایل تأسیس حوزه علمیه پر برکت قم، که به دست مبارک پدر بزرگوارشان تأسیس شد و موجب آن همه برکات شد، آشنایی با ایشان داشته؛ و پس از مدتی از نزدیک معاشر و دوست صمیمی بودیم؛ و در تمام مدت طولانی معاشرت جز خیر و سعی در انجام وظایف علمیه و دینیه از ایشان مشاهده ننمودم.

هنوز ساختمان محکم است و برای عمر ما کافی است
این آیت الله زاده معظم تا آخر عمر در خانه پدری‌اش که با خشت و گل ساخته شده بود، زندگی کرد بدون اینکه آن را نوسازی کند یا تغییر دهد. یک وقت سقف یکی از ساختمان‌های منزل مشرف به خراب شدن بود، معماری حاضر شد با خرج خودش بدون اینکه از سهم مبارک امام(ع) باشد، آن را بازسازی کند. اول حاج آقا مرتضی پذیرفت، اماچند روز بعد پشیمان شد و فرمود: هنوز ساختمان محکم است و برای عمر ما کافی است. دیگری خواست همه خانه را خراب کند و در چند طبقه باز سازی کند تا جوابگوی حوائج و رفت و آمدها را بدهد، اما ایشان نپذیرفتند.

وی آنقدر مراعات وجوه و اموال عمومی را می‌کرد که پاکت نامه‌ها و تلگراف‌ها که برای ایشان می آمد، نگه می داشتند و درس خارج فقه و اصول را روی آنها می نوشت.

خدمات اجتماعی و کمک به درماندگان اهتمام به رفع گرفتاریهای مردم درمانده، برطرف کردن مشکلات زندگی آنها از دیگر خصوصیات بارز این مرد بزرگ بود.

درب خانه اش به روی مردم باز بود، حاجتمندان به راحتی می توانستند نیازهای خودرا با وی در میان بگذارند و مشکلات خود را به وسیله او حل کنند.

تعدادی از بازاریان محترم و تجار و بازرگانان متدین و کسبه علاقه مند به امورخیر، به سرپرستی حاج آقا مرتضی حائری، برای رفع نیازمندیهای یتیمان و درماندگان جلساتی داشتند و یتیمان زیاد و خانواده های بی سرپرست بسیاری زیر پوشش داشتند و به شکل آبرومندانه به وضع آنها رسیدگی می کردند و به زندگی بی رونق آنان سامان می بخشیدند. نان، غذا، لباس و گاهی جهیزیه دختران بی سرپرست و مخارج ازدواج و عروسی آنها را با احترام تأمین می کردند.

پای منبر روی زمین می نشست و درس می گفت
مرحوم حاج آقا مرتضی فرزند برومند و خلف صالح مرحوم آیه الله موسس زهد و تقوا، ساده زیستی، دوری از مظاهر فریبنده دنیا، نادیده گرفتن تشریفات ظاهری، پرهیز از خلاف گویی و تملق و دیگر صفات نیکو را از آن پدربزرگوار به ارث برده بود.

با آنکه فقیهی ماهر و مجتهد و استادی ژرف اندیش بود، رساله عملیه ننوشته وهیچ گاه دنبال مرجعیت نبود، حتی برای درس گفتن بر منبر نمی نشست با آنکه جمعیت شاگردان وی کم نبود، باز پای منبر روی زمین می نشست و درس می گفت.