「巨大ファイルが開けない」の答えをまとめた — 10GB・50GB・258GB を開いて探した実測(メモ帳・VS Code・klogg・ripgrep と比較)

使い方

ダブルクリックしたログが開かない。メモ帳は「ファイルが大きすぎます」と言い、VS Code は開いたものの検索が効かない。この場面について、このサイトではこれまで 14 本の記事を書いてきました。測ったファイルは 3GB から 258GB まで、比べた相手はメモ帳・Excel・VS Code・klogg・grep・ripgrep・EmEditor です。

このページは、その 14 本の答えを 1 か所にまとめたものです。数字はすべて開発者本人の実測なので、その前提で読んでください。負けている場面も、そのまま書きます。

※ファイル容量の表記について:このページでは、ファイルの大きさをバイト数で書き、GB は SI(÷1000³)で添えます。過去の記事で「48GB」と書いたファイルは、このページの「51.25GB」(51,254,526,392 バイト・47.73GiB)と同じファイルです。

先に結論: 開けないのはファイルを丸ごとメモリに載せる道具だから。載せない道具なら 258GB・45 億行でも開ける。1 回だけ探すなら grep・ripgrep と同等、同じファイルを何度も探すなら差が開く

  1. 開けない理由は 1 つです。 メモ帳・Excel・VS Code は、編集のためにファイル全体(または行の一覧)をメモリに置こうとします。メモリより大きいファイルは、そこで止まります。
  2. メモリに載せない道具なら、大きさはほぼ関係なくなります。 UwView(巨大ファイルを、いつでも瞬時に)は、8.9 億行のファイルを開いて 12 ミリ秒で先頭を出し、末尾の行へ 0.006 ミリ秒で跳びました。258GB・45 億行の 1 本のファイルも開けています。
  3. 探す速さは「1 回きり」か「何度も」かで変わります。 1 回目の検索は ripgrep と同等です。同じファイルに 2 問目からを聞くと、UwView Pro(巨大ファイルを、いつでも瞬時に)は ripgrep より 8.6〜10.9 倍速くなりました。

1. なぜ開けないのか — メモ帳・Excel・VS Code・分割の行き止まり

定番の 4 つは、それぞれ違う場所で止まります(詳しくはこの記事)。

道具 止まるところ
メモ帳 数百 MB で「ファイルが大きすぎます」
Excel 約 104 万行を超えた分は読み込まれない。読み込みが途中で止まっても、見た目は正常に見える
VS Code 上限を上げて開いても、色分けが効かず、検索でウィンドウが固まる
分割(split など) 開けるが、行番号と前後のつながりが切れる。50 個に切れば 50 回探すことになる

4 つとも、根っこは同じです。ファイルを丸ごとメモリに置こうとしていること。50GB のログを 16GB や 32GB のメモリに置くことは、そもそもできません。障害調査で分割が逆効果になる話は、Windows で「ファイルが大きすぎて開けない」の記事に書きました。

2. メモリより大きいファイルを開く — 16GB の PC で 50GB

必要なのは、ファイルをメモリに載せずに、見ている所だけを読む道具です。UwView はこの作りで、索引を作っている最中から先頭も末尾も読めます。

メモリ 16GB のノート PC に 50GB のログが届いた、という場面の手順はこちらの記事にまとめています。手順は 3 段です。まず UwView で開けるかを試す。同じファイルを繰り返し探すなら UwView Pro。中身を直す必要があるときは、原本を書き換えずに直す編集の機能を使う、という順です。

行番号しか分かっていない 12GB の CSV の 8,342,119 行目を見に行く、といった検品の場面は巨大データ検品の記事に書きました。

3. どこまで開けるのか — 8.9 億行と 45 億行の実測、理論上の上限

ファイル バイト数 行数 開いて先頭を出すまで(ミリ秒) 末尾の行へ跳ぶ(ミリ秒) 索引を作り終えるまで(秒)
OpenStreetMap 日本(XML) 51,254,526,392 892,239,125 12 0.006 172.8
OpenStreetMap アメリカ全土(XML・分割なしの 1 本) 258,679,440,228 4,509,830,821 — — 328
  • 日本の値は 2026 年 7 月、UwView 同梱の計測用プログラムで測りました(Mac・外付け SSD)。総行数は wc -l と 1 行も違いませんでした。索引を作っている間に増えたメモリは 33.3MB です(実測の記事)。
  • アメリカの値は 2026 年 7 月、UwView Pro を画面で操作して測りました(Mac 実機)。2 回目からは保存した索引を使うので、開くのは一瞬です。「New York」の全文検索は 34.8 秒で 100,492 件ヒットしました。索引と圧縮した中身を入れたファイル(.uwvz、圧縮形式+索引)は 28.61GB で、元の約 1/9 です(実測の記事)。

理論上の上限も計算しました。行番号とバイト位置を 64 ビットの整数で持っているので、型の上限は約 920 京行です(計算の記事・実データと合わせた記事)。実際には、その前にディスクの容量とファイルシステムの上限が来ます。

20 年前に作った最初の版は、設計上の上限が 5,000 万行でした。行数で比べると、扱うファイルは 20 年で約 90 倍になっています(20 年前のビューアの記事)。

4. 開いたあと探す — klogg・ripgrep と比べた、いまの数字

同じ 51,254,526,392 バイトのファイルを、同じ Mac(Apple M4・10コア)と外付け USB SSD で測った値です。秒は同じ機械の中でだけ比べています。1.5 倍未満の差は「同等」と書きます。

比べたこと 相手(秒) UwView(秒) 結果 測った版・日付
開く(UwView と klogg) 52.55 50.44 同等 v1.6.6・2026 年 9 月
開いて探す(UwView と klogg) 55.59 53.50 同等 v1.6.6・2026 年 9 月
探して、ヒットした行を画面で読むまで(uvf … -open と klogg) 109.32 50.76 klogg より 2.15 倍速い v1.6.6・2026 年 9 月
索引を使った検索(UwView Pro と klogg) 55.59 6.47 klogg より 8.6 倍速い v1.7.3.1・2026 年 9 月 28 日
1 問目の検索(UwView Pro と ripgrep) — — 同等 v1.7.3.6.9・2026 年 10 月 4 日
2 問目からの検索(UwView Pro と ripgrep) 55〜70 6.45 ripgrep より 8.6〜10.9 倍速い v1.7.3.6.9・2026 年 10 月 4 日

ripgrep の 2 問目は、測るたびに 55〜70 秒とぶれるので幅で書いています。いまの版は v1.9.0(Full Spectrum)で、50GB での UwView Pro の秒数は上の値とほとんど変わっていません。

258GB・45 億行のファイルに 5 つの語を順に聞いた計測(2026 年 9 月)では、合計がこうなりました(記事)。

道具 5 問の合計(秒) 1 問あたり(秒)
BSD grep 1,789.22 357.84
ripgrep 1,389.55 277.91
UwView Pro 161.90 32.38

klogg とは 3GB・10GB・48GB の 3 つの大きさ × 3 種類のディスクの 9 通りでも比べています(ベンチマーク完全版・2026 年 7 月)。検索に使うスレッドは 8 本で頭打ちになり、1 本のときの 3.0 倍でした(スレッド数の記事)。

5. 負けているところ・同等のところ

  • 1 回だけ探すなら、grep・ripgrep で十分です。 1 問目は UwView Pro も ripgrep と同等で、索引を作る分の時間がかかります。差が出るのは 2 問目からです。
  • UwView(無料版)の開く・探すは、klogg と同等です。 速くなるのは「探して画面で読むまで」をつなげたときです。
  • ディスクが遅いと、全部の道具が横に並びます。 読み出し 0.41GB/s の外付けドライブでは、48GB で grep 64.64 秒・ripgrep 71.49 秒と grep が速く出ました。963MB/s のディスクでは逆になりました。「grep の方が速い」は、遅いディスクでだけ成り立つ結論でした。
  • 計測そのものを間違えたこともあります。 ファンの無い Mac で連続して測ったら、熱で 54% ぶれました。測り方を直した経緯はサーマルスロットリングの記事に残しています。
  • ここに並べた秒は Mac の値です。 Windows・Linux でも正しく動くことは確かめていますが、OS をまたいで秒を比べてはいません。3 つの OS で同じ手順にかける連載を第 0 回から始めています。

6. 大きさで道具を選ぶ

やりたいこと 向いている道具
1 回だけ、1 つの語を探す grep・ripgrep
開いて、前後の行を読みながら調べる UwView
同じファイルに何度も聞く・保管して何度も開く UwView Pro
メモリに収まる大きさのファイルを編集する EmEditor などのエディタ

この表は、比較記事 10 本を 2 つの AI に読ませて作らせたサイズ別早見表を元にしています。元の数字はどれも開発者本人の実測で、独立したベンチマークではありません。

各回を読む

リンク

※ 数字はすべて開発者本人が測ったもので、測った環境・版・日付の条件付きです。環境によって変わります。

タイトルとURLをコピーしました