慧寂禅师刚到仰山，恰逢唐武宗下令拆除天下寺院四千六百余所，勒令僧尼还俗者达二十六万之多，佛门称这次浩劫为“会昌法难”。不过，远在袁州深山里的慧寂，似乎并没有引起朝廷特别的注意，躲过了这一劫，仍然是青灯黄卷，精修禅法；耕地种田，艰苦为生。有传说云：一日，天上降下一位神通广大的梵僧，慧寂问：师尊何处来？梵僧云：来自西天。又问：几时离开彼处？答：今早。再问：何来太迟？答：游山玩水。慧寂又说：“神通游戏则不无，师父佛法须还老僧始得。”梵僧道：“特来东土礼文殊，却遇小释迦。”说完，取出许多梵书贝叶赋予慧寂，忽腾空冉冉而去。从这之后，慧寂号“小释迦”，在仰山栖隐寺一住二十年，弘扬禅法，参学习禅者据称达五六百人之多，仰山栖隐寺遂名扬天下。
　　栖隐禅寺虽然片瓦不存，所幸文献还在，所幸禅宗的经典还在，所幸慧寂大师的行迹还在。中国佛教协会会长一诚大法师已接沩仰宗的法嗣，时时关心着栖隐禅寺的重建；其法徒妙安法师也正在为此奔波，地方政府亦鼎力相助，看来，重建沩仰宗祖庭道场决非是梦了。