离婚对一个男人的影响大吗