端砚产地位于端溪旁的端岩，其实是一座石山。东边下面古时号称下岩，下岩之中有泉水，不管多干旱，泉水也从来不会枯竭。下岩的上面，是中岩，而中岩之上，自然是上岩。登上上岩，翻过山顶到背面，叫龙岩。
龙岩是唐代取砚石的地方，后来因为后岩的砚石要比龙岩要好，所以才弃龙岩不用。端溪至宋朝的时候，已经完全被水浸没，砚工取石材的时候，只能到水里去取，因此好的砚石也愈发难是。
端州在汉朝的时候，并不属于中国，一直到南粤王赵佗归顺之后，端溪的版图才并入中国。但端溪被发现是在唐武德的时候，刚开始的时候，也没有什么太多的好砚石。后来至五代、宋初的时候，开采力度加大，产量也开始猛增，品质自然也最好。
古时候的人，对砚石的采掘也是有规划的。先从下岩的北壁开始，然后再从南壁凿洞，因此，除了上、中、下岩之外，还有东、中、西洞之分。在唐宋时期，官府专门设立了一个砚务官驻守在端溪，每年要求进贡砚台多少，一旦数额达到，则封洞，普通老百姓是不能盗采的。而取石的时候，也是一个坑取完之后，再另开新坑，所以有新坑旧坑之分。
到了元朝的时候，干脆全部关闭，不准任何人采伐