男人到了中年，对外边女人动心了，会轻易离婚吗？