Excel で開けない CSV を、前月の版と照合する — Excel・qsv diff・DuckDB と比べた、10GB(約1億行)のキー照合の実測

使い方

1,048,576 行目で、表が終わる。

先月の台帳と今月の台帳。どこが変わったかを確かめたくて、両方を Excel で開いたら「データセットが大きすぎます」と出た。そんな経験はありませんか? 警告のとおり、Excel は 1,048,576 行より後ろを読み込みません。しかも、読み込めた分の中身も、そのままとは限りません。

では、Excel に入らない CSV を、前月の版とキー列で照合するにはどうすればよいのでしょうか。1GB から 10GB(約 1 億行)まで、3 つの道具で時間を測りました。


先に結論: Excel では照合の前に表が切れる。10GB のキー照合は UwDiff 22 秒、qsv diff 33 秒、DuckDB 125〜220 秒

  • Excel は 1,048,576 行で切り捨てます。 105 万行(100MB)の CSV でも、最後の数千行は読み込まれませんでした。1-10 のような値が 1月10日 に変わるなど、開いただけで値が変わることもあります。
  • Excel を使わずにキー照合する道具として、qsv(qsv diff)と DuckDB(SQL で結合)を同じ Mac で測りました。10GB × 2 本で、行の順番がそろっていれば qsv diff 32.56 秒・DuckDB 124.66 秒。ばらばらだと DuckDB 220.06 秒、qsv diff は 10 分で終わりませんでした。
  • UwDiff は、uvd 旧.csv 新.csv -key 点名 の 1 行で、行の順番を問わずに照合します。10GB で 21.52 秒(そろい)・22.61 秒(ばらばら)でした。差分はどの道具も正解と完全に一致しています。
  • 負けもあります。 行の順番がそろっていれば、qsv diff は 1GB で同等の速さで、メモリはどの大きさでも qsv diff の方が少なく済みました。

Excel で照合できない 3 つの理由

同じ MacBook Air の Excel(Microsoft 365)で、105 万行(100MB)の CSV を開いて確かめました(2026-10-23)。

  1. 1,048,576 行で切れる。 「グリッドに対してデータセットが大きすぎる。保存すると読み込まれていないデータは失われる」と警告が出て、それより後ろの行は読み込まれません。照合の相手が欠けたまま、VLOOKUP や XLOOKUP を組んでも、答えは合いません。
  2. 開くだけで値が変わる。 1-10 が 1月10日 に、2025/02/21 が 2025/2/21 に変わりました。先頭の 0 を消すか、指数表記に変えるかも、開くたびに聞かれます。「変えない」を選び忘れると、照合する前に値が変わってしまいます。
  3. 文字コードを見分けない。 BOM の無い UTF-8 の CSV を Shift-JIS として読み、日本語が全面的に化けました。

1 と 3 は手順を工夫すれば避けられます(Power Query でデータモデルに読む、文字コードを指定して取り込む)。ただ、そこまでしても「2 本を突き合わせて、どの行のどのセルが変わったか」を出すのは、Excel の得意な仕事ではありません。

いつもの手段: qsv diff と DuckDB

Excel を使わずに、表をキー列で照合する道具はいくつかあります。今回は、同じ Mac で動かせる 2 つを選びました。

  • qsv(qsv diff --key 0 旧.csv 新.csv): CSV を加工するコマンドの集まりです。diff はキー列で 2 本を照合し、追加・削除・変更を出します。
  • DuckDB: CSV を直接 SQL で読めるデータベースです。旧と新を点名で結合し、値が違う行を取り出す SQL を自分で書きます。

どちらも、行の順番が違っていても照合できます。

UwDiff なら: キー列を 1 つ指定するだけ

画面で比べる

  1. UwDiff を開き、「旧」に前月の CSV、「新」に今月の CSV を入れる(ドラッグでもよい)。
  2. 「キー列」に 点名 のような列の名前を入れる。行の順番が違っていても、キーで対応付けます。
  3. 「比べる」を押す。

変わったセルだけが、旧の値と新の値の組で並びます。値は文字列のまま比べるので、先頭の 0・長い数字・日付らしい値も変わりません。

コマンドで比べる

uvd 台帳_9月.csv 台帳_10月.csv -key 点名 -o 差分.csv

差分は 区分,点名,列,旧値,新値 の形の CSV になります。区分は 追加・削除・変更で、変わったセルごとに 1 行です。

  • キーは複数の列の組み合わせでもよい(-key 点名,種別)。
  • 列は見出しの名前で対応付けるので、前月と今月で列の並びが変わっていても比べられます。
  • 前月が Shift-JIS、今月が UTF-8 でも、そのまま渡せます(文字コードが違う CSV の記事)。
  • Excel に収まる大きさなら、.xlsx どうしも同じように照合できます(uvd 台帳_9月.xlsx 台帳_10月.xlsx -key 点名)。

差分のうち採る行だけを残して uvd apply に渡すと、前月の CSV にその変更だけを反映できます。旧の文字コード・区切り・行の順番は保ちます(操作説明 3-3)。

1GB・5GB・10GB での実測

同じ機械・同じ試験データで、3 つの道具を測りました。どれも差分を正解と突き合わせ、完全に一致したものです。

  • 機械: MacBook Air(Apple M4・10 コア・メモリ 32GB)・macOS 26.3.1・データは外付け SSD(USB)
  • 測り方: 毎回キャッシュを消して(sudo purge)1 回ずつ。秒は /usr/bin/time の real。10 分を超えたものは打ち切り(2026-10-26)
  • 版: UwDiff 1.0.0(uvd)・qsv 26.0.0・DuckDB 2.0.0
  • 試験データ: 列は「点名,X,Y,Z,種別,測点番号,観測日,備考」。新は旧から、削除・追加・セルの修正・点名の変更などを入れて作った(正解の差分は 10GB で約 256 万行)。文字コードは UTF-8
大きさ × 2 本 行の順番 UwDiff(秒) qsv diff(秒) DuckDB(秒)
1GB(約 1,053 万行) そろっている 2.28 2.73 4.05
1GB ばらばら 2.27 5.87 4.41
5GB(約 5,267 万行) そろっている 10.88 17.15 23.33
5GB ばらばら 11.11 36.01 24.39
10GB(約 1 億行) そろっている 21.52 32.56 124.66
10GB ばらばら 22.61 10 分で打ち切り 220.06
  • UwDiff の時間は、大きさが 10 倍になると約 10 倍です(1GB 2.28 秒 → 10GB 21.52 秒)。
  • 10GB・行の順番そろいでは、qsv diff は UwDiff の 1.5 倍、DuckDB は 5.8 倍の時間がかかりました。ばらばらでは DuckDB が 9.7 倍です。
  • Shift-JIS(CP932)どうしでも、UwDiff の 10GB は 20.35 秒(そろい)・21.90 秒(ばらばら)でした。全部の表は実測のページにあります。

負けと、できないこと

  • 行の順番がそろっていれば、qsv diff は互角に近い速さです。 1GB では 2.73 秒と 2.28 秒で同等(1.5 倍未満)、10GB でも 1.5 倍で、同等との境目です。
  • メモリは qsv diff の方が少なく済みます。 10GB・行の順番そろいで、qsv diff 1.7〜2.1GiB、UwDiff 4.2〜4.5GiB、DuckDB 約 18GiB でした。
  • 行の順番がばらばらな巨大な表は、UwDiff もメモリを使います。 10GB で 12.7〜13.4GiB でした。-mem で上限を決めると、一時ファイルへ逃がして最後まで通ります。476MB に絞ったときは 58 秒でした(キャッシュを消していない値)。
  • 集計や加工は、DuckDB や qsv の仕事です。 差分を出したあとに件数を数える、列を足して計算する、といった作業は SQL や qsv の方が向いています。UwDiff がするのは「何が変わったか」を出すところまでです。
  • Excel の書式・数式は比べません。 .xlsx を比べるときは、表示されている値(-raw で元の値)の比較です。

試すには

# Mac(Homebrew)
brew install --cask amru195704/uwview/uwdiff
# Windows(Scoop)
scoop bucket add uwview https://github.com/amru195704/scoop-uwview
scoop install uwdiff
# Linux(Snap)
sudo snap install uwdiff

Scoop が入っていない場合の入れ方や、手で入れる方法はダウンロードのページにあります。


次に確認する


開発者より: アプリ・Kindle 本・公開プロジェクトの一覧は GitHub: amru195704 にまとめています。

タイトルとURLをコピーしました