48GBファイルは「開ける」だけでは調査できない — RAM 16GBのノートPCでEmEditorとUwView Proを比較

比較

「この48GBのファイルから、特定の文字列を探してほしい」

そう頼まれたとき、重要なのは「ソフトウェアが48GBに対応しているか」だけではありません。

  • 開いた直後に末尾へ移動できるか
  • 全文検索が終わるまで何分かかるか
  • 同じファイルを翌日開いたとき、また待つ必要があるか

巨大ファイルを使った実際の調査では、最大対応容量よりも「作業を始めるまでの待ち時間」が問題になります。

今回は、約48GB・約8.92億行のOpenStreetMap日本データを使い、EmEditor ProfessionalとUwView Proを同じWindowsノートPCで比較しました。

先に結論

今回の環境では、次の結果になりました。

  • EmEditorは約4分06秒後にファイル全域へ移動可能
  • UwView Proは開いた直後から末尾へ移動可能
  • 索引作成はUwView Proが約3.3倍高速
  • 「東京」の全文検索はUwView Proが約12.8倍高速
  • EmEditorは2回目も約4分の処理が必要
  • UwView Proは保存済み索引により2回目以降は瞬時

一方、編集機能の豊富さではEmEditorが圧倒的です。

今回の比較は「どちらが優れたエディタか」を決めるものではありません。巨大ファイルを閲覧・検索するとき、実際の作業開始までにどのような差が出るかを確認するものです。

検証環境

項目 内容
PC HP Spectre x360
OS Windows 11 Home(x64)
CPU Intel Core i7-1165G7 2.80GHz
メモリ 16GB
ストレージ 内蔵SSD
電源 AC電源接続
EmEditor Professional 64-bit v26.2.5
UwView Pro v1.2.2 x64
テストデータ OpenStreetMap日本
ファイル容量 約48GB
行数 約8.92億行
文字コード UTF-8
検索文字列 「東京」

両製品とも同じPC、同じ内蔵SSD、同じファイルを使用しています。

今回はIntel搭載Windows PC上で両製品のx64版を使用しているため、CPUアーキテクチャのエミュレーションによる性能差はありません。

比較結果

作業 EmEditor Professional 26.2.5 UwView Pro 1.2.2
開いた直後の表示 先頭部分を表示 先頭部分を表示
開いた直後の末尾移動 できない できる
ファイル全域へ移動可能になるまで 4分06秒 開いた直後
索引作成完了 246秒 74秒
「東京」の全文検索 160秒 12.5秒
同じファイルの再オープン 再び約4分 索引作成なし・瞬時

問題1:開いても、末尾へ移動できない

EmEditorは、48GBファイルを開くと先頭部分の表示を開始しました。

ただし、読み込み進捗が100%になるまではファイルの末尾へ移動できませんでした。測定開始時に表示できたのは18,951行までで、ファイル全体は約8.92億行あります。

進捗は次のように進みました。

  • 1分14秒:29%
  • 2分35秒:50%
  • 4分06秒:100%

4分06秒後、ようやくファイルの末尾まで移動できるようになりました。

UwView Proも、索引はバックグラウンドで作成します。しかし、索引が完成する前でもファイル全域を閲覧できます。

開いた直後に末尾へ移動したり、ファイルの50%付近を確認したり、検索を開始したりできます。

この違いは、「表示を開始するまでの時間」ではなく、「調査対象へ移動できるまでの時間」の違いです。

問題2:全文検索が終わるまで待たされる

同じ48GBファイルから「東京」を検索しました。

  • EmEditor:2分40秒
  • UwView Pro:12.5秒

今回の条件では、UwView Proが約12.8倍高速でした。

時間差は約2分28秒です。

一度だけなら数分の違いですが、障害調査で検索語を変えながら何度も検索すると、待ち時間は積み重なります。

たとえば、10種類の検索を行った場合、単純計算では約24分の差になります。

問題3:同じファイルでも、次回また待つ

EmEditorで同じファイルを2回目に開いたところ、再び約4分の処理が必要でした。

UwView Proは、初回に作成した索引と圧縮キャッシュを保存します。そのため、2回目以降は索引作成を繰り返さず、ほぼ瞬時に開けます。

巨大ファイルを一度だけ確認する場合より、次のような仕事で差が大きくなります。

  • 障害ログを数日かけて調査する
  • 過去の監査ログを繰り返し確認する
  • 検索条件を変えながら原因を追う
  • 同じ地図・観測・ダンプデータを何度も参照する

UwView Proの中心的な価値は、初回だけ速く見せることではなく、同じ巨大ファイルを使うたびに発生する待ち時間をなくすことです。

索引作成から検索完了まで

索引作成後に検索を開始する作業として単純合計すると、次のようになります。

EmEditor

  • 全ファイル読み込み:246秒
  • 全文検索:160秒
  • 合計:406秒、約6分46秒

UwView Pro

  • 索引作成:74秒
  • 全文検索:12.5秒
  • 合計:86.5秒、約1分27秒

差は約5分20秒で、UwView Proが約4.7倍高速でした。

なお、UwView Proは索引完成前でもファイル全域を閲覧できるため、実際には74秒の索引完成を待ってから調査を始める必要はありません。

EmEditorの強み

EmEditorは非常に高機能なWindows用テキストエディタです。

巨大ファイル対応だけでなく、CSV編集、並べ替え、置換、マクロ、各種編集機能など、長年にわたって蓄積された膨大な機能があります。

公式には、64-bit版で最大16TBまたは約1兆990億行まで開けるとされています。また、それを超えるファイルについても、一部分を指定して開くLarge File Controllerが用意されています。

詳しくは、EmEditor公式のLarge File Supportを参照してください。

高度な編集、CSV処理、マクロ、自動化などが必要なら、EmEditorを選ぶ理由は十分にあります。

UwViewが、この機能数で競争することは現実的ではありません。

UwViewが競争するのは「機能数」ではなく「待ち時間」

UwViewは、総合テキストエディタを目指していません。

特化するのは、巨大ファイルを扱う次の作業です。

  • 開いた直後からファイル全域を見る
  • 末尾や任意の位置へ移動する
  • 巨大ファイルを高速に検索する
  • 同じファイルを次回から瞬時に開く
  • 圧縮して保管し、そのまま再調査する

一度だけ巨大ファイルを閲覧・検索する場合は、無料版UwViewでも対応できます。

同じファイルを繰り返し開く、高速検索する、圧縮して保管する場合はUwView Proが適しています。

48GBは上限ではない

今回の48GBは、EmEditorと同じ条件で比較するために使用した一つのテストケースです。

UwViewの巨大ファイル基盤では、別途、約250GB・約45億行のファイルまで動作を確認しています。

現在のblock設定における設計上の行数限界は約5,500億行です。block定数を変更すればさらに拡張できますが、現実には、そのサイズのファイルを保存するストレージ容量が先に制約になると考えています。

容量については、次の3つを区別する必要があります。

  • 約48GB・8.9億行:今回の競合比較
  • 約250GB・45億行:最大実測
  • 約5,500億行:現在の設定における理論値

「無制限」と表現するのではなく、実測値と理論値を分けて公開します。

次の構想:元ファイルを変更しない巨大ファイルエディタ

現在、UwViewの巨大ファイル基盤を利用した編集版、UwView Editor Pro(仮称・UEP)を想定しています。

UEPは、一般的なテキストエディタとは保存方法が異なります。

元ファイルには一切変更を加えません。

修正内容は圧縮ファイル内に保存し、必要になったときだけ新しいTextファイルとして書き出します。

つまり、UEPが目指すのは「巨大ファイルを直接上書きするエディタ」ではありません。

巨大な原本を残したまま、必要な箇所だけを非破壊で修正するエディタ

です。

想定する作業は次のようなものです。

  • 48GBのデータで、誤った1行だけ修正する
  • 元の観測・地図・ログデータを変更せず補正する
  • 複数の修正案を試す
  • 修正内容を保存し、後日作業を再開する
  • 最終成果が必要になった時点で新しいTextファイルを作る

元ファイルは常に残るため、編集ミスや保存失敗によって原本を失う危険を避けられます。

UEPの性能は、UVPから約1.1倍程度の低下に抑えられる見込みですが、これは現時点では設計上の想定です。公開時には、編集、保存、再オープン、Text書き出しまで実測して報告します。

まとめ

今回の48GB・約8.9億行ファイルでは、次の結果になりました。

  • UwView Proは開いた直後からファイル全域を閲覧できた
  • 索引作成はEmEditorの約3.3倍高速だった
  • 全文検索は約12.8倍高速だった
  • 2回目以降は索引を作り直さず、瞬時に開けた

一方で、編集機能の豊富さではEmEditorが圧倒的です。

したがって、両者の選択基準は明確です。

  • 豊富な編集、CSV、マクロなどが必要:EmEditor
  • 巨大ファイルをすぐ閲覧・検索したい:UwView
  • 同じ巨大ファイルを繰り返し高速に調査したい:UwView Pro
  • 元ファイルを変更せず、巨大データを非破壊編集したい:将来のUEP

巨大ファイルでは、「最終的に開けるか」だけでなく、「開いてから何分で仕事を始められるか」が重要です。

UwViewは機能数ではなく、その待ち時間の短縮に特化します。

リンク

UwView Proには買い切りと月額プランがあります。月額プランには、決済サービスPolarによる1か月の無料期間があります。


開発者より: アプリ・Kindle本・オープンソースの一覧は GitHub: amru195704 にまとめています。


測定結果について
本記事の結果は、記載した1台のPC、1種類のファイル、各製品バージョンにおける測定値です。すべての環境における性能を保証するものではありません。ストレージ、CPU、メモリ、ファイル内容、文字コード、検索条件、製品設定などによって結果は変わります。比較する場合は、ご自身の環境と実データで確認してください。EmEditorはEmurasoft, Inc.の製品です。誤記・不正確な情報がございましたら、コメント欄よりご指摘いただければ、確認のうえ修正いたします。

タイトルとURLをコピーしました