1,048,576 行目で、表が終わる。
先月の台帳と今月の台帳。どこが変わったかを確かめたくて、両方を Excel で開いたら「データセットが大きすぎます」と出た。そんな経験はありませんか? 警告のとおり、Excel は 1,048,576 行より後ろを読み込みません。しかも、読み込めた分の中身も、そのままとは限りません。
では、Excel に入らない CSV を、前月の版とキー列で照合するにはどうすればよいのでしょうか。1GB から 10GB(約 1 億行)まで、3 つの道具で時間を測りました。
先に結論: Excel では照合の前に表が切れる。10GB のキー照合は UwDiff 22 秒、qsv diff 33 秒、DuckDB 125〜220 秒
- Excel は 1,048,576 行で切り捨てます。 105 万行(100MB)の CSV でも、最後の数千行は読み込まれませんでした。
1-10のような値が1月10日に変わるなど、開いただけで値が変わることもあります。 - Excel を使わずにキー照合する道具として、qsv(
qsv diff)と DuckDB(SQL で結合)を同じ Mac で測りました。10GB × 2 本で、行の順番がそろっていれば qsv diff 32.56 秒・DuckDB 124.66 秒。ばらばらだと DuckDB 220.06 秒、qsv diff は 10 分で終わりませんでした。 - UwDiff は、
uvd 旧.csv 新.csv -key 点名の 1 行で、行の順番を問わずに照合します。10GB で 21.52 秒(そろい)・22.61 秒(ばらばら)でした。差分はどの道具も正解と完全に一致しています。 - 負けもあります。 行の順番がそろっていれば、qsv diff は 1GB で同等の速さで、メモリはどの大きさでも qsv diff の方が少なく済みました。
Excel で照合できない 3 つの理由
同じ MacBook Air の Excel(Microsoft 365)で、105 万行(100MB)の CSV を開いて確かめました(2026-10-23)。
- 1,048,576 行で切れる。 「グリッドに対してデータセットが大きすぎる。保存すると読み込まれていないデータは失われる」と警告が出て、それより後ろの行は読み込まれません。照合の相手が欠けたまま、VLOOKUP や XLOOKUP を組んでも、答えは合いません。
- 開くだけで値が変わる。
1-10が1月10日に、2025/02/21が2025/2/21に変わりました。先頭の 0 を消すか、指数表記に変えるかも、開くたびに聞かれます。「変えない」を選び忘れると、照合する前に値が変わってしまいます。 - 文字コードを見分けない。 BOM の無い UTF-8 の CSV を Shift-JIS として読み、日本語が全面的に化けました。
1 と 3 は手順を工夫すれば避けられます(Power Query でデータモデルに読む、文字コードを指定して取り込む)。ただ、そこまでしても「2 本を突き合わせて、どの行のどのセルが変わったか」を出すのは、Excel の得意な仕事ではありません。
いつもの手段: qsv diff と DuckDB
Excel を使わずに、表をキー列で照合する道具はいくつかあります。今回は、同じ Mac で動かせる 2 つを選びました。
- qsv(
qsv diff --key 0 旧.csv 新.csv): CSV を加工するコマンドの集まりです。diffはキー列で 2 本を照合し、追加・削除・変更を出します。 - DuckDB: CSV を直接 SQL で読めるデータベースです。旧と新を点名で結合し、値が違う行を取り出す SQL を自分で書きます。
どちらも、行の順番が違っていても照合できます。
UwDiff なら: キー列を 1 つ指定するだけ
画面で比べる
- UwDiff を開き、「旧」に前月の CSV、「新」に今月の CSV を入れる(ドラッグでもよい)。
- 「キー列」に
点名のような列の名前を入れる。行の順番が違っていても、キーで対応付けます。 - 「比べる」を押す。
変わったセルだけが、旧の値と新の値の組で並びます。値は文字列のまま比べるので、先頭の 0・長い数字・日付らしい値も変わりません。
コマンドで比べる
uvd 台帳_9月.csv 台帳_10月.csv -key 点名 -o 差分.csv
差分は 区分,点名,列,旧値,新値 の形の CSV になります。区分は 追加・削除・変更で、変わったセルごとに 1 行です。
- キーは複数の列の組み合わせでもよい(
-key 点名,種別)。 - 列は見出しの名前で対応付けるので、前月と今月で列の並びが変わっていても比べられます。
- 前月が Shift-JIS、今月が UTF-8 でも、そのまま渡せます(文字コードが違う CSV の記事)。
- Excel に収まる大きさなら、
.xlsxどうしも同じように照合できます(uvd 台帳_9月.xlsx 台帳_10月.xlsx -key 点名)。
差分のうち採る行だけを残して uvd apply に渡すと、前月の CSV にその変更だけを反映できます。旧の文字コード・区切り・行の順番は保ちます(操作説明 3-3)。
1GB・5GB・10GB での実測
同じ機械・同じ試験データで、3 つの道具を測りました。どれも差分を正解と突き合わせ、完全に一致したものです。
- 機械: MacBook Air(Apple M4・10 コア・メモリ 32GB)・macOS 26.3.1・データは外付け SSD(USB)
- 測り方: 毎回キャッシュを消して(
sudo purge)1 回ずつ。秒は/usr/bin/timeの real。10 分を超えたものは打ち切り(2026-10-26) - 版: UwDiff 1.0.0(uvd)・qsv 26.0.0・DuckDB 2.0.0
- 試験データ: 列は「点名,X,Y,Z,種別,測点番号,観測日,備考」。新は旧から、削除・追加・セルの修正・点名の変更などを入れて作った(正解の差分は 10GB で約 256 万行)。文字コードは UTF-8
| 大きさ × 2 本 | 行の順番 | UwDiff(秒) | qsv diff(秒) | DuckDB(秒) |
|---|---|---|---|---|
| 1GB(約 1,053 万行) | そろっている | 2.28 | 2.73 | 4.05 |
| 1GB | ばらばら | 2.27 | 5.87 | 4.41 |
| 5GB(約 5,267 万行) | そろっている | 10.88 | 17.15 | 23.33 |
| 5GB | ばらばら | 11.11 | 36.01 | 24.39 |
| 10GB(約 1 億行) | そろっている | 21.52 | 32.56 | 124.66 |
| 10GB | ばらばら | 22.61 | 10 分で打ち切り | 220.06 |
- UwDiff の時間は、大きさが 10 倍になると約 10 倍です(1GB 2.28 秒 → 10GB 21.52 秒)。
- 10GB・行の順番そろいでは、qsv diff は UwDiff の 1.5 倍、DuckDB は 5.8 倍の時間がかかりました。ばらばらでは DuckDB が 9.7 倍です。
- Shift-JIS(CP932)どうしでも、UwDiff の 10GB は 20.35 秒(そろい)・21.90 秒(ばらばら)でした。全部の表は実測のページにあります。
負けと、できないこと
- 行の順番がそろっていれば、qsv diff は互角に近い速さです。 1GB では 2.73 秒と 2.28 秒で同等(1.5 倍未満)、10GB でも 1.5 倍で、同等との境目です。
- メモリは qsv diff の方が少なく済みます。 10GB・行の順番そろいで、qsv diff 1.7〜2.1GiB、UwDiff 4.2〜4.5GiB、DuckDB 約 18GiB でした。
- 行の順番がばらばらな巨大な表は、UwDiff もメモリを使います。 10GB で 12.7〜13.4GiB でした。
-memで上限を決めると、一時ファイルへ逃がして最後まで通ります。476MB に絞ったときは 58 秒でした(キャッシュを消していない値)。 - 集計や加工は、DuckDB や qsv の仕事です。 差分を出したあとに件数を数える、列を足して計算する、といった作業は SQL や qsv の方が向いています。UwDiff がするのは「何が変わったか」を出すところまでです。
- Excel の書式・数式は比べません。
.xlsxを比べるときは、表示されている値(-rawで元の値)の比較です。
試すには
# Mac(Homebrew)
brew install --cask amru195704/uwview/uwdiff
# Windows(Scoop)
scoop bucket add uwview https://github.com/amru195704/scoop-uwview
scoop install uwdiff
# Linux(Snap)
sudo snap install uwdiff
Scoop が入っていない場合の入れ方や、手で入れる方法はダウンロードのページにあります。
次に確認する
- UwDiff の操作説明(表の比較・反映) — キー列の指定、
uvd applyで採った変更だけを反映する手順 - UwDiff の実測(条件つき・負けも含めて) — UTF-8 と CP932 で、1GB・5GB・10GB を比べた全部の表
- Shift-JIS と UTF-8 の CSV を、変換せずに比べる — 前月と今月で文字コードが違うとき
- 姉妹の道具 UwView — 巨大なログや CSV を開いて、grep のように探す道具
- note で連載中: 巨大ファイルを比べる——UwDiff 開発と使い方
開発者より: アプリ・Kindle 本・公開プロジェクトの一覧は GitHub: amru195704 にまとめています。

