集才华和美貌于一身的“古代第一美男”潘安，年少聪慧，乡里称他是奇童，现在评价潘安，那就是典型的高富帅，潘安二十余岁步入仕途，他有几个妻子？潘安去世后，妻儿都去哪了？
潘安一生只有一位妻子，名叫杨容姬，是西晋名儒杨肇的女儿，出生于249年，在10岁，便与12岁的潘安定亲了，再年长一些到了适婚年纪，潘安便与杨容姬完婚了，婚后有一儿一女，不过儿子在襁褓夭折，女儿十二岁时也病逝了。
此后潘安也没有再娶妾，298年，与潘安共同生活了20多年的杨容姬病逝了，潘安还作了三首有名的《悼亡诗》怀念妻子，唐朝诗人李商隐还用“只有安仁能作诔，何曾宋玉解招魂”表扬了这三首诗作。
即使妻子去世，潘安也没有再娶，可见两人感情深厚，潘安用情之深。而潘安美男之称名不虚传，老少通吃，《世说新语》记载：潘岳（潘安）妙有姿容，好神情。少时挟弹出洛阳道，妇人遇者，莫不连手共萦之。左太冲绝丑，亦复效岳游遨，于是群妪齐共乱唾之，委顿而返。
无数女人的梦中情人潘安一生却只娶了一位妻子，即使有女子等到潘安的妻子去世，最终也没能嫁给潘安，潘安不仅有貌，还特别有才，是西晋著名文学、政治团体“金谷园二十四友”之首，潘安为妻子所作的《悼亡诗》在我国文学史悼亡题材，始终是第一位。
北宋之前《二十四孝》里还记载了潘安辞官奉母的故事，北宋学者郭居敬重新校订《二十四孝》，考虑到八王之乱后，潘安被灭三族，此时潘安的母亲已经七十余岁也未能幸免。
潘岳的兄长侍御史潘释、弟弟燕令潘豹、司徒掾潘据、潘诜，兄弟之子，已经出门的闺女，均受牵连，因此丧生，于是《二十四孝》不再记载潘安是小子的故事。潘豹的闺女和母亲抱头痛哭，赵王司马伦才心生不忍，这才被赦免。
潘安的侄子潘伯武在诛三族时侥幸逃脱，不过此后很少有潘伯武的行踪，一表人才的潘安竟没有一个好的结局，潘安也无后代。
《中牟县志》记载，在县城西北3里处有潘安墓，只是经历过多次黄河泛滥冲刷，墓室沉入了河底，清末一位武秀才潘龙蛟听闻此时，于是潜水想要捞宝，但一无所得，只有一块一尺多长的石碑，碑上有“潘岳（潘安）之墓”四字，这块墓碑后来也下落不明。