他自知性格风流，见到年轻美貌女子，往往与之言笑不禁，相处亲密，虽无轻薄之念，却引起对方遐想，惹下不少无谓相思，自知不合，常自努力克制，但情缘之来，有时不由自主，因此经常戴着黄药师所制的那张人皮面具，不以原来之英俊面目示人。
换作旁人，略显矫情，但若是杨过的话，便不算过分，杨过这一生耽误了四位女子，虽非有意，但毕竟因他而起。
一、程英、陆无双因他终身未嫁
程英温柔典雅，陆无双路见不平，二女均为江湖奇女子，为人极重义气，远非朱九真、周芷若等人所能相比，虽然是配角，但其惊艳程度实在不亚于其他作品的主角。
陆无双因得到杨过相助，所以对他难以忘怀；程英则因为杨过侠气逼人，所以悄悄暗恋着他，又因杨过相貌英俊，人品俊秀，二女遂心甘情愿拜倒在他的脚下。在杨过等候小龙女这十六年里，程英、陆无双始终隐居在嘉兴，黄药师曾多次要求带二女游历江湖，但总被她们拒绝，试问没有杨过的江湖，又有啥可玩？
小说结尾，程英、陆无双均三十多岁，二女依然单身，由此可以预知，这两位女子这辈子都不会下嫁他人，只因她们心里的位置已经给杨过占满了。
二、郭襄因杨过出家为尼
“风陵渡外，一见杨过误终身。”自打在风陵渡遇到了杨过，郭襄便着了魔，小女孩的心事谁都知晓，风流如杨过，如何不知？但他不能，他不能选择郭襄，他有妻子，何况郭襄只是自己的小妹子而已。
当襄阳城大战结束后，杨过、小龙女、郭靖、黄蓉、郭襄等人一起上了华山，华山风景极佳，众人好不畅快，唯有郭襄黯然神伤，当真是：
“秋风清，秋风明；落叶聚还散，寒鸦栖复惊。相思相见知何日，此时此夜难为情。”
郭襄再也忍耐不住了，眼泪夺眶而出。此后数十年，她足迹遍布中原大地，然而始终无法探询到杨过一丁半点消息，终于在四十岁那一年大彻大悟，于峨眉山出家，当了尼姑，各位读者还记否？当年郭襄曾说过这样一句话：
“呸！我学了和尚的功夫有什么用？我又不想做尼姑。”
三、公孙绿萼因她而惨死
与程英、陆无双、郭襄相比，公孙绿萼最为凄惨，她也是咱们今日所讲的主人公。小女子自幼生活于绝情谷内，谷中不许男女亲近，因而她并不知何为“情爱”，天真烂漫、纯真可爱，正因如此，当杨过来到绝情谷后，三言两语便打动了她的心扉，自此公孙绿萼与程英、陆无双、郭襄一样，心中的位置，让杨过给填满了。
身为绝情谷谷主的女儿，公孙绿萼本该集万千宠爱于一身，恰如桃花岛岛主女儿黄蓉一般，怎奈公孙止老奸巨猾，狼心狗肺，一再逼迫自己女儿，为求绝情丹，以公孙绿萼威胁裘千尺，她又做错了什么？亲生父亲如此胁迫？
她的母亲亦有大错，公孙绿萼虽然深爱杨过，但她的爱却是无私的，她祝福杨过与小龙女，从未想要占据小龙女的位置，然而她的母亲裘千尺却一再逼迫，欲令杨过娶她为妻，父亲以她要挟母亲，而母亲则几次三番以杨过来令她难堪，面对父母如此逼迫，公孙绿萼终于萌生了一个想法，她自尽了：
绿萼身在父亲手中，动弹不得，一个圈子转过来时，陡然见到杨过跳跃相避，让开了去路，眼光中充满着关怀之情，不禁芳心大慰：“他为了我，宁可不要解药！我死也瞑目了。”她手足虽不能动，头颈却能转动，低声叫道：“杨大哥！”额头撞向公孙止挺起的黑剑。黑剑锋锐异常，绿萼登时香消玉殒，死在父亲手里！
可叹公孙绿萼如此善良，却还是被父母逼迫而死，母亲逼杨过娶她，令她羞愧难当；父亲不念亲情，以她胁迫母亲，这两件事对公孙绿萼的心理造成了致命伤害，遂使得这个小女孩终于萌生了死志，可叹，可惜。