辞去官职，回到江南。
壮年南下的贯云石海牙，很快变成一个颇负盛名的文学大家。他遍历名胜古迹。所至之处，高人韵士、年轻学子、方外奇人，都愿意与他相交接，“得其词翰，片言尺牍，如获珙璧”。贯云石有点倦于应酬了。于是变姓易名，躲到杭州隐居晦迹。过去游历梁山泺（在今山东梁山）时，他见到渔夫织芦花絮为被，心里很喜欢，要用自己的绸被子来交换。渔夫看见他以贵易贱，知道他不是平常人，对他说：“你要想得到这条被子，你就要写一首诗留给我。”贯云石“援笔立就”，这就是后来广为流传的《芦花被》：“探得芦花不痫尘，翠蓑聊复藉为菌。西风刮梦秋无际，夜月无香雪满身。毛骨已随天地老，声名不让古今贫。青绫莫为鸳鸯妒，瘢乃声中别有春。”隐居杭州之后，他就自号“芦花道人”。他曾经入天目山，去见当时闻名的禅师中峰明本，自是每夏坐禅杭州郊区的包山，暑退方始入城。
学禅以后，他写的文章境界渐入深邃，诗歌也比从前更加冲淡简远，草书、隶书等变化古人，自成一家。晚年的贯云石，诗、曲、书、文都达到极高的造诣。当然，他在文学方面成就最大的还数元曲（又称乐府）。所制小令、套曲，清新流畅，“俊逸为当行之冠”。他旧以“酸斋”