문희상 특사, “위안부 합의 때문에 한일관계 무너지거나 하는 일 없을 것” 일본 방문 후 귀국