据《南唐书》载，潘扆（音衣，室中门与窗之间的地方，称为扆）常在江淮之间往还，自称“野客”，曾投靠海州刺史郑匡国。郑匡国对他不大重视，让他住在马厩旁的一间小屋子里。有一天，潘扆跟了郑匡国到郊外去打猎。郑匡国的妻子到马厩中看马，顺便到潘扆的房中瞧瞧，见房中四壁萧然，床上只有一张草席，床边有一个竹箱，此外便一无所有。郑妻打开竹箱，见有两枚锡丸，也不知有甚么用处，颇觉奇怪，便盖上箱子而去。潘扆归来，大惊，骂道：“这女人是甚么东西！竟敢来乱动我的剑，幸亏我已收了剑光，否则她早已身首异处了。”
有人将这话去传给郑匡国。郑匡国惊道：“恐怕他是剑客罢！”求他传授剑术。潘扆道：“姑且试试。”和他同到静院之中，从怀中摸出那两枚锡丸来，放在掌中，过得不久，手指尖上射出两道光芒，有如白虹，在郑匡国的头颈边盘旋环绕，铮铮有声不绝。郑匡国汗下如雨，颤声道：“先生的剑术神奇极了！在下今日大开眼界，叹观止矣。”潘扆哈哈一笑，引手以收剑光，复成锡丸。
郑匡国上表奏闻南唐国主李昪，李昪召见潘扆，命他住在紫极宫中。潘扆过了数年，死在宫中。
吴淑的《江淮异人录》中，也记有潘扆的故事。
潘扆是大理评事潘鹏的儿子，年轻时住在和州，常到山中打柴贩卖，奉养父母。有一次过江到金陵，船停在秦淮口，有一老人求他同载过江。潘扆见他年老，便答应了。其时大雪纷纷，天寒地冻。潘扆买了酒和老人同饮。船到长江中流，酒已喝完了，潘扆道：“可惜酒买得少了，未能和老丈尽兴。”老人道：“我也有酒。”解开头巾，从发髻中取出一个极小的葫芦来，侧过小葫芦，便有酒流出。葫芦虽小，但倒了一杯又一杯，两人喝了几十杯，小葫芦中的酒始终不竭。潘扆又惊又喜，知道这位老丈是异人，对他更加恭敬了。到了对岸，老人对他说：“你奉养父母，身上又有道气，孺子可教。”于是授以道术。潘扆此后的行径便甚诡异，世人称他为“潘仙人”。
有一次他到人家家中，见池塘水面浮满了落叶，忽然兴到，对主人道：“我玩个把戏给你瞧瞧。”叫人将落叶捞了起来，放在地下，霎时之间，树叶都变成了鱼，大叶子成大鱼，小叶子成小鱼，满地跳跃，把鱼投入池塘，又都成为落叶。
他抓一把水银，在手掌之中捏得几捏，摊开手掌，便已变成银子。
有一个名蒯亮的人，有一次到亲戚家作客，和几个亲友一起同坐聚谈。潘扆经过门外，主人识得他，便邀他进来，问道：“想烦劳先生作些法术以娱宾，可以吗？”潘扆道：“可以！”游目四顾，见门外铁匠铺中有一铁砧，对主人道：“用这铁砧可以变些把戏。”主人便去借了来。潘扆从怀中取出一把小刀子，将铁砧切成一片一片，便如是切豆腐一般，顷刻间将一个打铁用的大铁砧切成了无数碎片。座客尽皆惊愕。潘扆道：“这是借人家的，不可弄坏了他。”将许多碎片拼在一起，又变成一个完整无缺的大铁砧。宾主齐声喝采。
他又从衣袖中取出一块旧的手巾来，说道：“你们别瞧不起这块旧手巾。若不是真有急事，求我相借，我才不借呢。”拿起手巾来遮在自己脸上，退了几步，突然间无影无踪，就此不见了。
一本书他从未看过的，却能背诵。又或是旁人作的文稿，包封好了放在他面前，只要读出文稿的第一个字，他便能一直读下去，文稿中间有甚么地方涂改增删，他也一一照样读出来。诸如此类的行径甚多，后来却也因病而死。