Dikisahkan Syekh Muhammad Zakariyya dalam kitabnya Fadhilah Haji bahwa Wahb bin Al-Wirid seorang wali, pernah bercerita suatu hari dia sedang sholat di Hathim. Tiba-tiba dia mendengar suara dari dalam kelambu Ka’bah Masjidil Haram dan suara itu berkata:
“Pertama-tama aku mengadukan kepada Allah SWT, kemudian aku mengadukan kepadamu wahai Jibril, bahwa orang-orang bersanda gurau dan berbicara sia-sia di sekelilingku.”
“Kalau orang-orang ini tidak berhenti dari perbuatannya, maka aku akan memecahkannya sehingga setiap batu akan terpisah-pisah.”
Suatu ketika Umar bin Khattab ra berkata kepada orang-orang Quraisy, “Sebelum kalian, yang mengurus Baitullah ada Kabila Amaliqah. Mereka tidak memuliakan Baitullah dan tidak mengagungkannya sebagaimana haknya. “Maka Allah SWT membinasakan mereka.”
Setelah itu, kata Umar, ada kabilah Jurhum yang juga diberikan kepercayaan menjaga Baitullah. Dan ketika mereka tidak menghormatinya, Allah SWT juga membinasakan mereka.
“Oleh karena itu, kalian harus mengagungkannya dan janganlah bermalas-malasan dalam memeriahkannya,” katanya.
Seorang wali Musa bin Muhammad, mengisahkan suatu ketika ada orang saleh yang melakukan tawaf, dia mendengar suara perhiasan seorang wanita cantik yang sedang melakukan tawaf juga.
Kemudian orang itu melihat terus wanita itu. Maka sebuah tangan keluar dari rukun yamani dan menamparnya dengan keras sehingga air matanya keluar, dan terdengar suara dari dinding Ka’bah yang mengatakan:
“Kamu tawaf di rumah kami, sedangkan kamu melihat selain kami. Tamparan ini adalah ganti dari pandangan itu, dan apabila kamu melakukannya lagi pada masa mendatang, maka kami pun akan membalasnya.”
Dari Umar bin Khattab, dia berkata, “Melakukan 70 dosa di Ruqyah (di luar Makkah) lebih aku sukai daripada melakukan satu dosa di Makkah.”
Syekh Muhammad Zakariyya mengatakan sebagaimana melakukan kebaikan di Makkah itu besar pahalanya, begitu juga melakukan perbuatan dosa di sana juga besar azabnya. Untuk itu Umar menyatakan pernyataannya di atas.
Apa yang dikatakan Umar bin Khattab sama juga diucapkan Ibnu Abbas dan banyak sekali perkataan yang semakna dengannya dikatakan Umar.
Oleh karena itu, sebagaian ulama tidak suka tinggal di Makkah karena susahnya menjaga adab-adabnya dan menunaikan hak-haknya.
Imam Abu Hamid Al-Ghazali menyatakan melakukan dosa disana dilarang keras dan menyebabkan dekatnya kemurkaan Allah SWT.