문희상 특사, 일본 외무상에 “국민 대다수 위안부합의 수용 못해”