男人不愿意离婚也不愿和情人分开