OpenStreetMap

技術解説

ripgrep では pbf の中を探せない — Wide Field⑥:osmium で XML にして渡すと148秒、uvp に直接渡すと29.3秒(2回目からは6.8秒)

2分半、待ちました。 osmium cat で OpenStreetMap の pbf を XML に展開し、rg に流す。これで1回の検索に148秒です。pbf は地図データの圧縮形式なので、rg にそのまま渡しても中…
技術解説

巨大ファイル実測の総集編 — 数字が逆転する4つの境界線

上限は950MB/sでした。 その「○秒」という数字、どのサイズで、何回目に測ったものですか。 同じツール・同じファイルでも、この2つを変えると勝敗はひっくり返ります。連載で出してきた実測を並べ直すと、向きが変わる境界線…
比較

48GBのファイルを「編集して、途中で保存する」まで — EmEditor と UwView Pro(Edit)を同じWindowsノートで比較

前回は「48GBのファイルを開いて検索するまで」を比べました。今回はその先——編集して、途中で保存するまでです。 同じPC・同じ48GBファイル・同じ検索語で、比較の条件を揃えてあります。 比較相手は前回と同じ EmEd…
技術解説

1億行・10GBのファイルを21,994箇所、16.8秒で置換しました。増えたのは3.7MBです

UwView Pro の Edit Upgrade(巨大ファイルを、書き換えずに編集) で、1億行のファイルを実際に編集した記録です。計測時のビルド名は UwEditor Pro で、画面にはその名前が出ます。 やったこ…
技術解説

258.68GB・45億行を開く — アメリカ全土のOpenStreetMapをXML展開してUwView Proで実測した

先日、日本全域を切り出した3.16GB・1億行のXML で、ネイティブ版とブラウザ版の速度差を測りました。あのとき正直、こう思っていました。「1億行では、まだ本気を出していない」と。 UwView は「巨大ファイルを、い…
技術解説

同じUwViewでも速度はどれだけ違う? — 無料版UVF(ネイティブ)とブラウザ版WASMを同一ファイルで実測

大容量テキストビューア UwView は、デスクトップ(ネイティブ版・UVF)とブラウザ(WASM版)の両方で動きます。同じコード・同じ機能が一通り動くのですが、当然、実行環境が違えば速度も違います。「ブラウザで動くって…
技術解説

51GB・8.9億行を開いて、理論上どこまで開けるのか計算してみた — 実データと「約920京行」の話

大容量テキストビューア「UwView」をGitHubで公開した記事では「最大2億行クラスを高速に閲覧できる」とうたっていました。ただ、それまでの実測は行番号を振っただけの合成データでのもの。「実際の、しかも桁違いに大きい…
技術解説

UwViewで51GB・8.9億行の実データ(OSM日本)を開いてみた — 「お詫び:2億行は嘘でした」

先日、大容量テキストビューア「UwView」をGitHubで公開した記事を書きました。「最大2億行クラスを高速に閲覧できる」とうたっていますが、これまでの実測は行番号を振っただけの合成データでのものでした。「実際の、しか…