男人到底怕不怕离婚的原因有哪些