已婚男人不愿意离婚,我还该继续吗