Shift-JIS と UTF-8 の CSV を、変換せずに比べる — diff・KDiff3・P4Merge で化ける理由と、10GB(約1億行)での実測

使い方

全部の行が「違う」。

取引先から届いた Shift-JIS の CSV を、社内の UTF-8 の CSV と diff で比べたら、日本語を含む行がすべて「違う」と出た。そんな経験はありませんか? 中身は 1 セルしか変わっていないのに、です。

いつもの解決は「変換してから比べる」です。では、変換せずに、そのまま比べる方法はあるのでしょうか。10GB(約 1 億行)の CSV で、両方の手順の時間を測りました。


先に結論: 変換してから比べると 10GB で 5 分 40 秒。UwDiff はそのまま渡して 26 秒

  • diff は、文字ではなくバイトを比べます。 同じ「点名」でも、UTF-8 と Shift-JIS ではバイトが違うので、日本語を含む行はすべて「違う」になります。Windows で作った Shift-JIS の CSV は改行も CRLF なので、さらに全行が違って見えることがあります。
  • 画面の比較ツール(KDiff3・P4Merge)も、既定のままでは文字化けします。 文字コードを手で指定すれば読めますが、ファイルごとに文字コードを知っている必要があります。
  • いつもの手順は、iconv で UTF-8 に変換し、diff --strip-trailing-cr で改行の違いを無視して比べる、です。10GB(約 1 億行)では、変換に 126.11 秒、比較に 213.55 秒、合わせて 339.66 秒(5 分 40 秒)かかり、変換したファイルの分(9.4GB)の空きも要りました。表として qsv でキー照合しても、変換を含めて 160.58 秒です。
  • UwDiff は、旧と新の文字コードを自動で見分け、違えば UTF-8 にそろえながら比べます。改行の違いも既定で無視します。10GB を 2 本そのまま渡して、テキストの比較が 26.15 秒、表のキー照合が 23.57 秒でした(キー照合の差分は正解と完全に一致)。

なぜ「全部違う」になるのか

試しに、中身が同じ 4 行の CSV を、UTF-8 と Shift-JIS で保存して diff で比べます。

$ diff utf8.csv sjis.csv
1,4c1,4
< 点名,X,Y,標高,種別
< T001,-11938.113,-34915.764,24.495,基準点
< T002,-11876.579,-34890.524,27.537,境界点
< T003,-11905.204,-34902.118,26.011,引照点
---
> �_��,X,Y,�W��,���
> T001,-11938.113,-34915.764,24.495,��_
> T002,-11876.579,-34890.524,27.537,���E�_
> T003,-11905.204,-34902.118,26.011,���Ɠ_

diff は文字コードを知りません。行のバイトが 1 つでも違えば「違う」です。そして、Shift-JIS のバイトを UTF-8 の端末に出すので、右側は文字化けします。

日本語の無い行(数字だけの行など)はバイトが同じなので「同じ」になります。日本語の列が 1 つでもある表なら、ほぼ全行が「違う」です。

画面の比較ツールも、既定のままでは化ける

画面で比べる無料の道具 2 つで、Shift-JIS(CP932)の 10MB の CSV を開いてみました(MacBook Air M4・macOS 26.3.1)。

道具 既定のまま開くと 読めるようにするには
KDiff3 1.12.6 文字化け(UTF-8 として読む) 設定の「地域と言語」で A・B を Shift_JIS にし、Unicode の自動検出を外す
P4Merge 2026.3 文字化け(「System」のまま) 起動時に -C shiftjis を付ける
UwDiff 1.0.0 読める(自動で判定) 指定は要らない

KDiff3 の文字コードの設定は保存されて残るので、次に UTF-8 のファイルを開くときは元に戻す必要があります。つまり、ファイルを開く前に、そのファイルの文字コードを知っていなければなりません。

いつもの手順: 変換してから比べる

文字コードがそろわないなら、そろえてから比べる。これがいつもの手順です。

iconv -f CP932 -t UTF-8 新.csv > 新_utf8.csv             # 新を UTF-8 に直す
diff -u --strip-trailing-cr 旧.csv 新_utf8.csv > 差分.diff  # 改行の違い(CRLF と LF)は無視して比べる

10GB(約 1 億行)の CSV 2 本(旧は UTF-8・LF、新は Shift-JIS・CRLF)で、この手順の時間を測りました。

同じ MacBook Air(Apple M4・メモリ 32GB)・外付け SSD・macOS 標準の iconv。毎回キャッシュを消してから(sudo purge)1 回ずつ測りました。

手順 1GB(1,053 万行)× 2 本 10GB(1 億 534 万行)× 2 本
① iconv で新を UTF-8 に変換 12.46 秒 126.11 秒
② GNU diff 3.12(-u --strip-trailing-cr) 8.70 秒・3.16GiB 213.55 秒・12.62GiB
テキストの比較の合計(①+②) 21.16 秒 339.66 秒(5 分 40 秒)
③ qsv diff 26.0.0(キー照合。変換したファイルで) 2.89 秒・0.20GiB 34.47 秒・2.36GiB
表のキー照合の合計(①+③) 15.35 秒 160.58 秒(2 分 41 秒)
変換したファイルの大きさ 954MB 9.4GB

時間の多くは、比べる前の変換でした。 10GB では、変換だけで 2 分を超えています。

変換は 1 回で済みますが、変換したファイルの分の空き(10GB)と、その書き出しの時間が要ります。比べ終わったら消す、という後始末も残ります。

UwDiff なら: 2 本をそのまま渡す

UwDiff は、ファイルの先頭を読んで文字コードを見分けます(BOM → UTF-16 → UTF-8 → Shift-JIS と EUC-JP の順)。旧と新で文字コードが違えば、読みながら UTF-8 にそろえて比べます。改行コードの違いも既定で無視します。

画面で比べる

  1. UwDiff を開き、「旧」に UTF-8 の CSV、「新」に Shift-JIS の CSV を入れる(ドラッグでもよい)。
  2. 表として比べるなら、「キー列」に 点名 のような列の名前を入れる。行の順番が違っていても、キーで対応付けます。
  3. 「比べる」を押す。

文字コードを指定する必要はありません。変わったセルだけが、旧の値と新の値の組で並びます。

コマンドで比べる

$ uvd 旧_utf8.csv 新_sjis.csv -key 点名 -o 差分.csv
旧 3 行(UTF-8・カンマ・0 MB)/新 3 行(CP932・カンマ・0 MB)  キー: 点名
  文字コードが違う(または UTF-16 の)ため、UTF-8 にそろえて比べた
追加 0/削除 0/変更 1 行(1 セル)/同じ 2

$ cat 差分.csv
区分,点名,列,旧値,新値
変更,T002,X,-11876.579,-11876.601

片方が gzip で圧縮されていても、そのまま渡せます(新_sjis.csv.gz)。

10GB(約 1 億行)での実測

上と同じ 10GB の 2 本(旧 UTF-8・LF、新 Shift-JIS・CRLF)を、そのまま uvd に渡しました。

同じ機械・同じ測り方です(2026-11-04・uvd 1.0.0 build 26.10.25.20)。右の列は、同じ試験データを同じ文字コードどうしで比べたときの値です(10/26・実測のページ)。

比べ方 1GB × 2 本 10GB × 2 本 参考: 同じ文字コードどうし(10GB。UTF-8/CP932)
テキストの比較 2.82 秒・0.36GiB 26.15 秒・0.37GiB 21.23 秒/20.77 秒
表のキー照合(行順そろい) 3.32 秒・1.82GiB 23.57 秒・4.15GiB 21.52 秒/20.35 秒
表のキー照合(行順ばらばら) 3.09 秒・2.02GiB 29.09 秒・9.80GiB 22.61 秒/21.90 秒

キー照合の差分は、1GB(25.7 万行)も 10GB(255.9 万行)も、正解と完全に一致しました。

いつもの手順と並べると、10GB でテキストの比較は 339.66 秒と 26.15 秒(13.0 倍)、表のキー照合は 160.58 秒と 23.57 秒(6.8 倍)です。違いの大半は、変換を別にするか、読みながらそろえるかです。

画面でも、Shift-JIS どうしの 10GB の 2 本は 19.51 秒で表示まで進みました(10/27・同じ機械。KDiff3 と P4Merge は、同じ Shift-JIS の 1GB で 600 秒たっても表示されませんでした)。

負けと、できないこと

  • 文字コードが違うと、そろえる分だけ遅くなります。 同じ文字コードどうしなら変換せずにバイトのまま比べるので、10GB で 1.1〜1.3 倍の差が出ました(キー照合・行順そろい 23.57 秒と 21.52 秒、テキスト 26.15 秒と 21.23 秒)。
  • 変換を済ませたあとなら、qsv は同等です。 変換したファイルどうしの qsv のキー照合は、10GB で 34.47 秒(uvd の 23.57 秒の 1.5 倍未満=同等)、1GB では 2.89 秒で uvd(3.32 秒)より速く、メモリも少なく済みました(10GB で 2.36GiB と 4.15GiB)。同じ 2 本を何度も比べるなら、一度変換してしまうのも手です。
  • 行の順番がばらばらな巨大な表は、メモリを使います。 10GB で 9.80GiB でした。-mem で上限を決めると、一時ファイルへ逃がして最後まで通ります(そのぶん遅くなります)。
  • 差分の出力は UTF-8 になります。 旧と新の文字コードが違うときは、差分(差分.csv・差分.diff)は UTF-8 で書きます。Shift-JIS のまま欲しいときは、出力を変換してください(表の差分を旧に反映する uvd apply は、旧の文字コードを保ちます)。
  • 見分けは自動なので、万一文字化けしたら固定してください。 -enc-old cp932 -enc-new utf8 のように、旧と新それぞれの文字コードを指定できます(utf8・cp932・eucjp・utf16le・utf16be)。
  • Shift-JIS で書けない文字は、反映できません。 新の値に Shift-JIS に無い文字(絵文字など)があると、uvd apply で旧(Shift-JIS)に当てるときに当てずに知らせます。

試すには

# Mac(Homebrew)
brew install --cask amru195704/uwview/uwdiff
# Windows(Scoop)
scoop bucket add uwview https://github.com/amru195704/scoop-uwview
scoop install uwdiff
# Linux(Snap)
sudo snap install uwdiff

Scoop が入っていない場合の入れ方や、手で入れる方法はダウンロードのページにあります。


次に確認する


開発者より: アプリ・Kindle 本・公開プロジェクトの一覧は GitHub: amru195704 にまとめています。

タイトルとURLをコピーしました