此山“黛峰翠嶂，景极幽邃”，在道教“三十六洞天，七十二天福地”（唐杜光庭《洞天福地记》）中属于“青霞洞天（第八洞天），烂柯福地（第三十福地）”。烂柯山的名字是唐宪宗元和年间才有的，此前一直叫石桥山或石室山。
关于烂柯之名，道教秘籍《云笈七签》中说：“烂柯山在衢州信安王质隐处，为天下洞山第三十。”这里有一个典故：南北朝任昉作有志怪《述异记》，里面记载西晋樵夫王质入山伐木，见童子弈棋，因而置斧观棋。当王质拾斧欲归时，斧柄已朽烂。回到家，发现已沧桑变化几十年。有一年，刘禹锡在扬州碰到白居易，席上写下了那首著名的《酬乐天扬州初逢席上见赠》，就曾用过这个典故：“巴山楚水凄凉地，二十三年弃置身。怀旧空吟闻笛赋，到乡翻似烂柯人。沉舟侧畔千帆过，病树前头万木春。今日听君歌一曲，暂凭杯酒长精神！”
烂柯山上，有寺叫石桥寺，有观名集仙观，有洞称青霞洞，从寺观踏石阶而上约千尺，达到峰顶，可以看到有长条巨石在云雾间横跨如虹，这就是唐时非常有名的石桥仙境，也就是传说中王质所到之处。诗人孟郊曾专门写有《烂柯山石桥》一诗：“樵客返归路，斧柯烂从风，唯余石桥在，犹自凌丹红。”
玄宗开元年