‘아빠본색’ 김구라, “아내와 일부러 피하지 않는다”