智觊大师我行我素，傲慢地回绝晋王杨广的“累书延屈”，当然使晋王大丢面子，但杨广也并未激愤，表示出极高的政治素养和极大的耐烦。智觊阔别江都而入荆湘意在摆脱晋王的节制，但终不能摆脱大隋政权的监督，阔别晋王却也使智觊难以获得晋王的政治庇护。时杨坚在旧陈荆州等地设置的总管府，虽说总归晋王节制，但实际上是直接服从于朝廷，“总管刺史加使持节”，具有很大的权力。如令狐熙为桂州总管十七州诸军事，即有便宜处置之权，能够朝廷名义任命刺史以下官吏，杨广号令所达地区实际上仅限于扬越一隅。

智觊来江都时，“慧日己明”，杨广意让智觊为慧日主持，操纵智觊的德望扩大其对江南佛教界的影响。智觊坚辞不受，反倒劈面提出要回荆湘，“于当阳县玉泉山”建立本身的“精舍”。不肯意加人有大隋官方背景的慧日道场，要阔别江都到荆州建立本身自在布道的六合，这是对杨广美意聘请明白表示不予合作。智觊在江都城外住了几个月，但始终未入慧日道场。其间杨广仍各式延请，多次派柳顾言往智居处馈送礼品，再作挽留。杨广称：“弟子一曰恭亲，犹以陋薄，不称宿心。”开皇十二年（592年）仲春十八日，杨广致书一封请留，但智觊则反而提出要先回庐山东林寺，并转而请杨广为“东林峰顶两寺施主（施主）”。杨广无法，只得再派柳顾言传达口信：“弟子意不欲相去辽远，脱能旋回，不敢留停，镇下近山隋乐住止”。但智觊仍执意拜别。三月一日，杨广又修《重留书》，欲留智觊过完夏天后再“发遣，冀不半途飘露”，“请就摄山安居度夏”，但“师不准”，严辞回绝。杨广对这位刚强的父老不敢“违忤”，“谨尊夙愿”，“即命所司发遣”，最后“具装发遣”送智觊觊上庐山。

但是，也有一些高僧果断回绝杨广的延揽，不肯前去江都四道场“任职”。如《续高僧传》卷一《彭城崇圣道场靖嵩传》记曰：“隋炀昔镇扬越，立四道场，教旨载驰，嵩终谢遣。及登紫极，又有敕征，固辞乃止。门人问其故，答曰：‘王城有限，动止严难，虽内道场，不如物外’”。姑苏虎丘山名僧智琰因“道盛名高”，被杨广召进慧日道场，后亦“以辞疾，得返旧山”。江南第一高僧的智觊虽被杨广延屈至江都。但智觊却也果断回绝进入慧日道场。

杨广在江都设置的四道场与杨坚在长安设立的大兴善寺、玄都观交相晖映，成为天下性的宗教思惟节制的中间。杨广曾写诗夸耀本身在江都设立的四道场，对本身能延揽到浩繁高僧非常对劲。

开皇十三年（593年）仲春二十二日，杨广入朝，行至陕州，又遣使送去亲笔信往荆州奉迎智，称本身“驰仰之诚与时而积”。蒲月，智觊派弟子奉书报晋王，奉上新建玉泉伽蓝图，献上相传是本国奉献给梁武帝的贵重“万春树皮法衣”。杨广收到礼品后即修书一封表示感激，并附一份丰富的礼单以示还报。杨广还在朝见父皇时奏告了本身为安宁江南政局而拉拢操纵智觊的企图，杨坚非常正视，于开皇十三年（593年）七月二十三日敕书匾额，赐智觊创办的精舍名曰“玉泉寺”，并敬问道体。天子御笔亲题金字，对于正遭到费事的智觊大师来讲，的确是庞大的恩德，这也恰是大师求之不得的。荆州总管王世积随即“到山礼拜”，智觊的景况无疑大为窜改了。弟子为大师帮了大忙，因各有所求，已渐冷淡的师徒干系仿佛又热起来。