男人不愿意离婚也不愿和情人分开的原因