برخی عالم‌نماهایی که از بستر تفکر آنها گروه‌های تکفیری و وهابی شکل گرفت، با تمسک به روایاتی، زیارت شرعی را محدود به سلام و دعا بر میت دانسته و سایر کارها از جمله سفر برای زیارت را بدعت و شرک قلمداد کرده‌اند. از جمله روایتی که به آن متمسک می‌شوند، روایتی مشهور به "شدّ رحال" است. این روایت که در منابع اهل سنت آمده به این شکل است: «لاتُشَدُّ الرِّحَالُ إِلاَّ إِلَی ثَلاثَةِ مَسَاجِد: المَسْجِدِ الحَرَام وَمَسْجِدِی هَذَا وَالمَسْجِدِ الأَقْصَی»؛ «بار سفر بسته نمی‌شود مگر به قصد سه مسجد: مسجدالحرام، مسجد من و مسجدالاقصی.»  بسیاری از علمای سنی و شیعه، نظریات آنها را در آثار خود ردّ کرده‌ و روایت "شدّ رحال" را به معنای فضیلت فراوان زیارت سه مسجد مذکور در حدیث دانسته‌اند. مخالفان نیز در مقابل به این بسنده نکردند و ساختن گنبد و ضریح را نماد شرک دانستند.

‏امام خمینی (ره) در کتاب کشف‌الاسرار خویش در پاسخ به این مسئله به نکاتی اشاره می‌فرمایند که در ادامه می‌خوانید:

‏‏الف) اگر ساختن گنبد و بارگاه‏‎ ‎‏برای بت‌پرستی و امام‌پرستی و پیغمبر پرستی باشد، همان طور که‏‎ ‎‏بت‌پرست‌ها می‌کردند، شک نیست که شرک است و کسانی که در‏‎ ‎‏آنجا برای پرستش و عبادت پیغمبر یا امام یا امامزاده می‌روند‏‎ ‎‏مشرک و کافرند؛ اما اگر برای احترام آنها باشد، یا برای استراحت‏ اشخاصی که آنجا می‌آیند باشد، یا برای عبادت خدا در آنجا باشد،‏‎ ‎‏شرک که نیست هیچ، عین خداپرستی و فرمانبرداری از خدا است.‏‎

ب) ‎‏شما می‌دانید که در هر سال چند صد هزار جمعیّت شیعه زیارت‏‎ ‎‏می‌کنند قبر پیغمبر و امام و امامزاده و مؤمن را. ما به شما و همۀ‏‎ ‎‏عالم اجازه دادیم که از بزرگ و کوچک، مرد و زن، شهری و‏‎ ‎‏صحرانشین شیعۀ اثنی عشری (ما ضامن طوایف دیگر شیعه‏‎ ‎‏نیستیم) بپرسید و آنها را با هر طوری که می‌خواهید استنطاق کنید،‏‎ ‎‏اگر آنها یا یکی از آنها گفتند که ما برای پرستیدن و عبادت کردن‏‎ ‎‏امام و پیغمبر به مدینه یا کربلا می‌رویم و ما آنها را خدا یا خدای‏‎ ‎‏زمین می‌دانیم، ما گفته‌های خود را پس می‌گیریم.

‏‏ج) ‏از همۀ اینها گذشتیم، خانۀ کعبه جز چهار دیوارسنگی، و‏‎ ‎‏«حجر الاسود» جز یک سنگ سیاه، و «صفا و مروه» جز دو کوه‏‎ ‎‏کوچک نیستند. چه شد که در هر سالی، کم و بیش صدهزار‏‎ ‎‏جمعیت مسلمین دور آن سنگ‌ها طواف می‌کنند و آن سنگ سیاه را‏‎ ‎‏می‌بوسند و استلام می‌کنند و بین صفا و مروه سروپای برهنه‏‎ ‎‏می دوند و سعی می‌کنند و هیچ کس به واسطۀ این اعمال‏‎ ‎‏خانه‌پرست و سنگ و کوه‌پرست نشد و همه آن را عبادت خدا‏‎ ‎‏می‌دانند؟ آیا مسلمانان خدا را در آن خانه و پیرامون آن سنگ‌ها و‏‎ ‎‏کوه‌ها پیدا می‌کنند یا آنکه چون خدا گفته، اطاعت اوست و عین‏‎ ‎‏توحید است؟ پس خوب است کار را یک باره کنید و بگویید خانۀ‏‎ ‎‏کعبه را هم باید خراب کرد.