بنی العباس چنان بر امام سخت گرفتند و مانند پدرش امام هادی او را در پادگان سامرا تحت نظارت و مراقبت دائمی نگاه داشتند که او در عمر مبارک خود نتوانست حتی برای یکبار هم که شده به زیارت خانه خدا و قبر جد اطهرش در مدینه برود لذا تنها امامی است که به مکه نرفته است و به بعضی از شیعیان خود هم پس از بر عهده گرفتن هزینه سفرشان وکالت می داد تا به نیابت از او به کربلا که برخلاف مکه و مدینه فاصله زیادی با سامرا نداشت مشرف شوند و قبر جد غریبش امام حسین را زیارت کرده و از کربلا برای او تربت حسینی را به سوغات آوردند.
هم براین اساس است که بعضی که توفیق سفرهای مکرر حج خانه خدا را دارند سعی می کنند یک حج خود را به نیابت از امام عسکری که به حج نرفت انجام دهند تا بدینوسیله ادای احترامی به ساحت این امام جوان که گوهر تابناک و دُرّ یگانه خلقت یعنی امام زمان را به عالم بشریت تقدیم کرده است داشته باشند.