UwView をGitHub公開 — Windows95時代の大容量(最大2億行)テキストビューアを3OS対応にリニューアル

リリース

かつて Windows95 の時代に作って「Vector」で公開していた大容量テキストビューア「UwView」を、Avalonia UI で作り直し、GitHubで公開しました。GDE(GeoDiveExa)とは直接関係のない個人開発ツールですが、同じ .NET のフィールドで作った成果として紹介します。

リポジトリ: amru195704/UwView(PolyForm Internal Use License 1.0.0)


UwViewとは — エディタではなく「ビューア」

UwViewは、最大2億行クラスの巨大テキストファイルを、省メモリ・高速に閲覧できるテキストビューアです。通常のテキストエディタは100万行前後で開けなくなりますが、UwViewはファイル全体をメモリに載せず、画面に見えている行だけを描画することで巨大ファイルを実用的に閲覧できます。RDBやXMLのダンプなどで発生する巨大行数ファイルを「とにかく速く見る」ことに特化した、編集機能を持たない閲覧専用のツールです。

Windows95時代に一度作って以来ずっと温めていたアイデアを、.NET 10 と Avalonia UI というモダンな技術スタックで作り直したのが今回のリニューアルです。

主な特長

特長 内容
超高速な巨大ファイル表示 最大2億行クラスを省メモリで閲覧。ファイル本体は非常駐、索引は約6MB(2億行時)
プログレッシブ・オープン 開いた瞬間にページモードで即表示 → 裏で索引構築 → 完了で行モードへ昇格
文字コード自動判定 BOM+UTF-8 / Shift-JIS / EUC-JP / UTF-16 を自動判別、手動切替も可能(索引再構築なし)
マルチファイル・タブ 複数ファイルをタブで切替。ドラッグ&ドロップ・複数選択で一括追加
文字列検索・正規表現 literalはSIMDバイト列探索(2億行3.4秒)、regexは行デコード後マッチ(同12.7秒)。マッチ部ハイライト+ミニマップ表示
行フィルタ表示 検索ヒット行だけを抽出表示(元ファイルは不変・仮想ビュー)
ブックマーク 任意行をトグル・前後ジャンプ。文字コード切替後も有効
リアルタイムTail 追記を検知してmmap再マップ+増分索引+末尾自動スクロール。書き込み中のログも開ける
全OS同一描画 Avalonia独自のSkia描画により Windows / macOS / Linux で見た目が一致。ブラウザ版も日本語フォント同梱

対応環境 — Windows / macOS / Linux、おまけでブラウザも

対応OSはWindows・macOS・Linuxのデスクトップ3種類が優先で、加えてブラウザ(WASM)版もおまけとして用意しています。デスクトップ版と同じUI・同じコアがブラウザ上でも動き、I/Oは blob.slice によるランダム読み(ファイル全体はメモリに載せない)で実現しています。

技術スタックは .NET 10(global.json で 10.0.100 固定・rollForward: latestFeature)と Avalonia UI 12.x です。


「省メモリ」を支える設計 — スパース行インデックス

巨大ファイルの鉄則は「ファイル全体をメモリに載せない/全行をUIに載せない」ことです。UwViewは4層構成でこれを実現しています。

UI層(TextView: 自前描画の仮想テキスト面)   … 可視行だけをRenderで描画
      ↓ GetPageAt(byteOffset) / GetLine(lineIndex)
ドキュメント層(LineDocument)                … オンデマンド取得+LRUキャッシュ
      ↓
インデックス層(SparseLineIndex)             … N行ごと(既定256)のスパース索引で省メモリ
      ↓ Read(offset, length)
I/O抽象層(IByteSource)                      … Desktop: mmap / Browser: Blob.slice

ポイントはインデックス層です。全行の先頭オフセットを愚直に持つと2億行で約1.6GBものメモリを使ってしまいますが、UwViewは256行ごとに1つだけチェックポイントを記録し、任意の行は直近のチェックポイントから改行を数え直して求めます。この工夫で索引サイズは約6MBに収まっています。

I/O層も、Length と Read(offset, buffer) だけの薄い抽象 IByteSource にまとめてあるため、上位層はDesktop(mmap)かBrowser(blob.slice)かを意識せずに動作します。


実測データ(2億行・5.1GBファイル)

Apple Silicon Mac・外付けSSD環境で、2億行・5.1GBのUTF-8ファイルを使って計測した結果です。

項目 実測値
open+文字コード判定 10 ms
ページモード表示(先頭50行+50%位置50行) 0 ms
索引構築(1回の順次読み) 9.7秒(538 MB/s)
索引サイズ 約6.0 MB(チェックポイント781,251件)
マネージヒープ増加 9.3 MB
GetLineランダム1000回 平均0.005 ms/p99 0.007 ms
末尾(2億行目)ジャンプ 0.003 ms
文字列検索(literal) 3.4秒(1,521 MB/s)
文字列検索(regex) 12.7秒(414 MB/s)

開いた瞬間の表示は0msで即座に反映され、索引構築中でもページ単位の閲覧は待たされません。索引が完成した後は、ランダムアクセスも末尾ジャンプもミリ秒未満です。


配布物とライセンス

dist/ フォルダに、各OS・アーキテクチャ向けのビルド済みアーカイブを置いています。

ファイル 対象
UwView-macos-arm64.zip macOS(Apple Silicon)
UwView-macos-x64.zip macOS(Intel)
UwView-win-arm64.zip Windows(ARM64)
UwView-win-x64.zip Windows(x64)
UwView-linux-arm64.tar.gz Linux(ARM64)
UwView-linux-x64.tar.gz Linux(x64)

macOS版は展開後 UwView.app をそのまま起動、Windows / Linux版は同梱の実行ファイルを実行するだけで使えます。ライセンスは PolyForm Internal Use License 1.0.0 です。

既知の制限

  • 改行スタイルはLF / CRLFが対象。CR単独(旧Mac)は現状フル対応していません。
  • UTF-16はBOM判定で認識しますが、行分割は \n バイト基準のため主対象はUTF-8 / Shift-JIS / EUC-JPです。
  • mmapは読み取り専用ビューのため、閲覧中に外部からファイルが切り詰められるとアクセス時に落ちる可能性があります(ビューアとして許容)。
  • ブラウザ版は毎回ファイル選択が必要(パス直開き・D&D・Tail不可)で、索引構築もネイティブより遅くなります。

まとめ

  • Windows95時代に「Vector」で公開していた大容量テキストビューア UwView を、Avalonia UIで作り直しGitHub公開した。
  • 最大2億行クラスの巨大テキストファイルを、省メモリ・高速に閲覧できる(エディタではなくビューア)。
  • 対応環境はWindows / macOS / Linuxのデスクトップ3種類+おまけのブラウザ(WASM)版。
  • スパース行インデックス(256行ごとのチェックポイント)により、2億行でも索引サイズは約6MBに収まる。
  • 実測では索引構築後のランダムアクセス・末尾ジャンプはミリ秒未満、検索も数秒で完了する。
  • PolyForm Internal Use License 1.0.0でGitHub公開、各OS向けビルド済みアーカイブも配布中。

関連記事

出典

  • amru195704/UwView(GitHub) https://github.com/amru195704/UwView

上位版:UwView Pro(発売中・全OS対応:Windows/macOS/Linux)

「巨大ファイルをいつでも瞬時に表示・検索、索引を保存して2回目以降は行番号付きで瞬時に開く・検索が最大約9倍・ログを約1/9で保管してそのまま開ける」商用版です。買い切り/月額プランあり。
→ https://uvp.y42u.net/pro/
(UwView / UwView Pro は、初回でも開いた瞬間からファイル全体を閲覧・検索できます。索引はバックグラウンドで作成し、完成後に行番号を表示。UwView Pro は索引と圧縮を保存するので、2回目以降は行番号付きで瞬時に開けます。他ツールは索引が終わるまで先頭しか見えませんが、UwView は1回目から全体を瞬時に閲覧・検索できます)


開発者より: アプリ・Kindle本・公開プロジェクトの一覧は GitHub: amru195704 にまとめています。


お願い
本記事の情報は参考目的で掲載しており、正確性・完全性を保証するものではありません。誤記・不正確な情報がございましたら、コメント欄よりご指摘いただければ、確認のうえ修正いたします。

コメント

タイトルとURLをコピーしました