一个男人不离婚又不放手情人会离吗为什么