情人不让你离婚是负责任吗