兄弟的老婆非要和我在一起，我们应该排除万难在一起吗