谁也记不清是哪个朝代的事了，在端州城附近有一个山村，山村里住着个穷秀才，穷得家无隔宿粮，靠着上山砍柴养阿娘，谁也不晓得他姓什么，只知他乳名叫阿端，有人送了个花号叫他“书痴”。
提起书痴，痴得的确可笑，无论上山砍柴，进城卖柴，帮阿娘做饭烧柴，手里总是捧着一本书，只要无人同他说话，他就摇头晃脑，朗朗诵读起来，满嘴之乎者也，子曰诗云，像唱歌一样，他读书入迷，常常答非所问，痴痴呆呆，叫人看了发笑。不过，阿端心地善良，不但对阿娘十分孝顺，邻里乡亲有了什么难事，他也乐意搭帮一手，只是他太穷了，娶不起亲，直到年过三十还是光棍一条。
就在他三十岁那年，阿娘得病死了，家里只剩他一个人，他更没有了约束，上得山去，读起书来，常常忘了砍柴；回到家里，读起书来，常常忘了烧饭。饥一顿，饱一顿，他自己也记不清吃没吃饭。自从他阿娘死后，每当他在山上看书，总有一只团扇那么大的彩蝶在他前后左右翩翩飞舞，常常扑到他的书上，遮住他的眼睛，赶走了，又飞回来，搅得他心烦意乱，直到他放下书本，起身砍柴，彩蝶才不打搅他。
一天，阿端早早起身，又上山来了。他肩上扛着一根扦担，扦担担头上挂着一摞书本，手中还拿着一本书，边走边看，走着走着，他觉得脚下一空，身子一仰，忽悠悠就跌下去了，慌忙之间，他丢了柴刀扦担，却抱住了那摞书，过了好久，身子才落了地，直跌得头昏眼花。等他缓过气来，睁开眼睛一看，原来自己跌进了一个十几丈宽的大石穴，石穴底铺着厚厚的香茅草，就是这堆茅草救了自己的命。石穴壁上的石头是那样好看，有的好像碧绿的翡翠，有的好像紫雾青云，色彩绚丽，光华耀眼。穴顶上，横三竖四爬满了藤萝，藤萝上开着五颜六色的花朵，喷发着扑鼻的清香，藤萝和花朵搭成一个凉棚，挡住了阳光。再仔细一看，左侧有个一人宽的隙缝，好像石穴的门户，门户上挂着用五彩斑斓的鲜花串花的门帘。阿端见有门可走，赶快爬起身，想掀开门帘，走出洞穴，谁知他刚一伸手，花帘顿时散开，飞舞起来，原来那花帘是几百只手掌大的彩蝶联首衔尾结成的，阿端惊讶得不得了，愣了半天，走出石门朝下一看，吓得马上就退了回来，原来石门下面是深不见底的大峡谷，几缕白云缭绕，一只苍鹰在山谷中盘旋。
阿端见无路可出，肚子也饿了。只好退回石穴，身靠石壁坐下。他一眼看到身旁有一摞书，便打开读了起来，越读声音越响，把饥饿、危险什么都忘记了。
不知过了多久，阿端忽听门口有人吃吃发笑，他抬头一看，见是一个身穿彩裙、生得如花似玉的姑娘，一只手掩口而笑，另一只手提着个有盖的彩色竹篮，阿端赶快起身整衣，对着姑娘深深作了个揖，说：“不是姑娘是哪方神仙，小生有失远迎，休怪休怪！”
姑娘没有答话，又吃吃笑了一阵，才说：“秀才秀才，咱们天天见面，怎么不认识了”
阿端连连摇头，说：“不认识，不认识。”
姑娘说：“认不认识以后再说，你一定饿了，快吃点东西吧。”说着，她打开竹篮，拿出一瓶碧绿的酒和两碟五颜六色的菜，摆在阿端面前，说：“秀才，请吧。”
阿端已经饿得前心贴后背，顾不得客气，拿起酒瓶就喝了一口，也不知那酒是用什么造的，他只觉得一股异香直透脑门，浑身立刻热腾腾，添了力气，那菜也看不出是用什么做的，香甜可口，他喝上两口酒，吃了几口菜，便觉得自己已经醉饱了。
他吃完了，姑娘将酒瓶、菜碟收进竹篮，然后坐在他对面，笑着对他说：“秀才呀秀才，你苦伶仃，孤单单，每天砍柴，早出晚归，没有洗衫的，没有烧饭的，我一个人住在深山老谷，没有知疼问暖的，没有谈心闲聊的，咱俩搭帮合伙，在一起过日子吧！”
阿端十分高兴，便同姑娘撮土为香，拜了天地，结成了夫妻，姑娘告诉阿端，她名叫阿蝶。
阿蝶每日提着竹篮出去，回来时竹篮里便盛满了酒菜，阿端每日只吃一餐，便一天都不饿了。他虽然同阿蝶做了夫妻，仍然改不了自己的老习惯，整天捧着本破书，朗朗诵读，阿蝶回来后，夺下他的书，他才停一会儿，只要阿蝶一转身，他便拿起书本，又朗诵起来，气得阿蝶无可奈何，一天，阿蝶对着他垂下泪来，他慌了，忙问：“阿蝶阿蝶，你伤什么心呀？”
“端郎，端郎！嫁给你好比嫁给一棵大叶杨，成日哗哗响，把你妻子丢一旁，唉，咱们夫妻不久长！”
阿端更慌了，拉住阿蝶的手说：“阿蝶呀阿蝶！从今往后，我不再读那破书，不再哗哗响，陪着你谈心，下棋讲古，饮酒唱歌，白头到老。”
阿蝶回心转意，“噗哧”一声笑了。
阿端果然将书本撂到一旁，陪着阿蝶谈心玩耍，可是，只要阿蝶一出门，他就立刻捧起书，摇头晃脑诵读起来，读到高兴处，常常忘乎所以，连阿蝶回来他也没有发觉，阿蝶故意大声咳嗽，他这才慌慌张张将书本掖进草里，几天以后，他又放不下书本了。
阿蝶气急了，就将他的书本藏进石头缝里，阿端找不到书本，坐不安，立不稳，茶饭无心，失神落魄，三天后就得了病，渐渐地面黄肌瘦，呼吸微弱，阿蝶慌了，四处采药医治，可是一点效验也没有。
一天，阿蝶从外面回来，忽听洞穴里又传来朗朗的读书声，原来阿端又从石缝里找到了那几本破书，抓起书本立刻诵读起来，似乎病也好了，精神也好了，比吃灵丹妙药还要灵验。
阿蝶看到这个情景，长叹一口气说：“书痴书痴治无方，夫妻难久长，不如早分手，你我各一方。”
听阿蝶这么一说，阿端低下头，泪也流下来了，阿蝶从石壁上挖下书本那么大一块石片，递给阿端说：“端郎，端郎！石片做砚台，助你写出好文章，睹物思人，别忘阿蝶情意长。”
她拉着阿端的手，引他走到石门口，解下腰上的白绸带，朝对山一抛，立时化成一座玉石虹桥，过了桥，眼前有一条下山大路，阿蝶又从头上拔下一根珠钗，递给阿端说：“端郎，端郎！珠钗做路费，送你上京进考场，天上人间难相见，令人痛断肠！”阿端拉住阿蝶的手，泪流满面，不忍分别，阿蝶手一指说：“你看，有人来了。”
阿端刚一回头，阿蝶忽然化成一只圆簟大的彩蝶，扇起五彩双翅，翩翩而起，阿端惊得睁大了眼睛，这才知道自己遇上了蝶仙。
彩蝶在阿端周围盘旋了许久，渐飞渐远，慢慢飞进蓝天白云里去了，阿端下山进城，卖掉了珠钗，有了路费，连家也没回，就晓行夜宿赶到京城，参加考试。
那年考试赶上冬天，连日来狂风暴雪，冰冻三尺，考场里生着火盆也不顶事，众举子不停地磨墨蘸笔，手一停就冻住了，他们写写停停，不断朝砚台和笔头呵气，监考官也急得皱眉叹息，可是爱莫能助，没有办法。后来，监考官踱到阿端面前，惊奇地站住了，只见阿端面前放着一个碧绿暗花的石片砚台，凹处墨汁盈盈，阿端头也不抬，挥笔疾书，已经写出满篇文章，墨迹十分鲜艳，散发出一股兰麝香味，这场考试，只有阿端一人按时交上了考卷。
考试结束后，教官从阿端手中拿过砚台，亲自磨墨试笔，写了一篇大字，那墨汁油润生辉，香气馥郁，写出字来墨迹均匀鲜艳，不损圆毫，教官越看越爱，将这块砚台视为珍宝，立即呈献给皇帝，皇帝亲自试用，果然不错，心中大喜，把这种砚台命名为端砚，封阿端做端州地方官，督派工人采石磨砚，做为贡品，从此，端砚便名扬天下，成为文房珍品。