Java 文字コード変換の落とし穴 — Shift_JIS・MS932・UTF-8 の違いと安全な変換

import java.nio.ByteBuffer;
import java.nio.CharBuffer;
import java.nio.charset.Charset;
import java.nio.charset.CharsetDecoder;
import java.nio.charset.CharsetEncoder;
import java.nio.charset.CharacterCodingException;
import java.nio.charset.CodingErrorAction;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.List;

/**
 * CharsetEncoder/Decoder を使った安全な文字コード変換ユーティリティ。
 * 変換不能文字を検出してログに記録する。
 */
public class SafeCharsetConverter {

    record ConversionResult(byte[] data, List<String> warnings) {
        boolean hasWarnings() { return !warnings.isEmpty(); }
    }

    /**
     * 文字列を指定した文字コードのバイト列に変換する。
     * 変換不能文字は ? に置換し、その位置と文字を warnings に記録する。
     */
    public static ConversionResult encode(String input, Charset targetCharset) {
        var warnings = new ArrayList<String>();
        var encoder = targetCharset.newEncoder();

        // REPORT モードの canEncode で変換不能文字を事前検出する
        for (int i = 0; i < input.length(); i++) {
            var ch = input.charAt(i);
            if (!encoder.canEncode(ch)) {
                warnings.add("位置 %d: '%c' (U+%04X) は %s に変換できません"
                        .formatted(i, ch, (int) ch, targetCharset.name()));
            }
        }

        // 実際の変換は REPLACE モードで安全に実行する
        var safeEncoder = targetCharset.newEncoder()
                .onMalformedInput(CodingErrorAction.REPLACE)
                .onUnmappableCharacter(CodingErrorAction.REPLACE);

        try {
            var buffer = safeEncoder.encode(CharBuffer.wrap(input));
            var result = new byte[buffer.remaining()];
            buffer.get(result);
            return new ConversionResult(result, warnings);
        } catch (CharacterCodingException e) {
            // REPLACE モードでは通常発生しないが、念のため
            throw new RuntimeException("文字コード変換に失敗しました", e);
        }
    }

    /**
     * バイト列を指定した文字コードで文字列にデコードする。
     * 不正バイトは REPORT で例外をスローする（厳格モード）。
     */
    public static String decodeStrict(byte[] data, Charset sourceCharset)
            throws CharacterCodingException {
        var decoder = sourceCharset.newDecoder()
                .onMalformedInput(CodingErrorAction.REPORT)
                .onUnmappableCharacter(CodingErrorAction.REPORT);
        var charBuffer = decoder.decode(ByteBuffer.wrap(data));
        return charBuffer.toString();
    }

    /**
     * Shift_JIS と MS932 で同じバイト列のデコード結果が異なる文字を検出する。
     */
    public static void compareShiftJisAndMs932(byte[] data) {
        var sjis = Charset.forName("Shift_JIS");
        var ms932 = Charset.forName("MS932");

        var sjisDecoder = sjis.newDecoder()
                .onMalformedInput(CodingErrorAction.REPLACE)
                .onUnmappableCharacter(CodingErrorAction.REPLACE);
        var ms932Decoder = ms932.newDecoder()
                .onMalformedInput(CodingErrorAction.REPLACE)
                .onUnmappableCharacter(CodingErrorAction.REPLACE);

        try {
            var sjisText = sjisDecoder.decode(ByteBuffer.wrap(data)).toString();
            var ms932Text = ms932Decoder.decode(ByteBuffer.wrap(data)).toString();

            if (sjisText.equals(ms932Text)) {
                System.out.println("Shift_JIS と MS932 のデコード結果は同一です");
            } else {
                System.out.println("デコード結果に差異があります:");
                for (int i = 0; i < Math.min(sjisText.length(), ms932Text.length()); i++) {
                    if (sjisText.charAt(i) != ms932Text.charAt(i)) {
                        System.out.printf("  位置 %d: Shift_JIS='%c'(U+%04X)  MS932='%c'(U+%04X)%n",
                                i, sjisText.charAt(i), (int) sjisText.charAt(i),
                                ms932Text.charAt(i), (int) ms932Text.charAt(i));
                    }
                }
            }
        } catch (CharacterCodingException e) {
            System.err.println("デコードに失敗しました: " + e.getMessage());
        }
    }

    public static void main(String[] args) throws Exception {
        // 波ダッシュを含む文字列の変換テスト
        var testText = "株式会社〜テスト①②③ⅠⅡⅢ";
        System.out.println("元の文字列: " + testText);

        // MS932 へのエンコード（丸数字・ローマ数字は変換可能）
        System.out.println("\n=== MS932 エンコード ===");
        var ms932Result = encode(testText, Charset.forName("MS932"));
        System.out.println("バイト数: " + ms932Result.data().length);
        if (ms932Result.hasWarnings()) {
            ms932Result.warnings().forEach(w -> System.out.println("  警告: " + w));
        } else {
            System.out.println("  変換不能文字なし");
        }

        // Shift_JIS へのエンコード（丸数字・ローマ数字は変換不能）
        System.out.println("\n=== Shift_JIS エンコード ===");
        var sjisResult = encode(testText, Charset.forName("Shift_JIS"));
        System.out.println("バイト数: " + sjisResult.data().length);
        if (sjisResult.hasWarnings()) {
            sjisResult.warnings().forEach(w -> System.out.println("  警告: " + w));
        } else {
            System.out.println("  変換不能文字なし");
        }

        // 波ダッシュのバイト列比較
        System.out.println("\n=== 波ダッシュ（0x8160）のデコード比較 ===");
        var waveDashBytes = new byte[]{(byte) 0x81, (byte) 0x60};
        compareShiftJisAndMs932(waveDashBytes);

        // UTF-8 BOM 付き出力の例
        System.out.println("\n=== UTF-8 BOM 付き CSV 出力例 ===");
        var csvContent = "名前,金額\n田中,10000\n鈴木,20000";
        var bom = new byte[]{(byte) 0xEF, (byte) 0xBB, (byte) 0xBF};
        var csvBytes = csvContent.getBytes(StandardCharsets.UTF_8);
        var withBom = new byte[bom.length + csvBytes.length];
        System.arraycopy(bom, 0, withBom, 0, bom.length);
        System.arraycopy(csvBytes, 0, withBom, bom.length, csvBytes.length);
        System.out.println("BOM なし: " + csvBytes.length + " bytes");
        System.out.println("BOM 付き: " + withBom.length + " bytes");
    }
}