文字コード

技術解説

Shift-JIS・EUC-JP・UTF-16 を索引の中で UTF-8 にそろえた — Full Spectrum①:ripgrep の -E より2回目から5.4〜38.8倍、ただし1回目は ripgrep が1.2〜1.5倍速い

変換が毎回入っていました。 Shift-JIS の 3GB を探すと、ヒットした行を数える前に、3GB 分の文字コード変換が走ります。2回目も、3回目も、同じ変換です。 索引を持っているのに、なぜ毎回変換していたのか。そ…
技術解説

自作CLIの -i が ripgrep に4.3倍負けていた — 改善記③:文字に戻さずバイトのまま畳んで 2.72秒→0.66秒(例外は U+212A だけ)

-i を付けると4倍遅い。 同じファイル、同じ語、違うのは「大文字小文字を無視するかどうか」だけ。それだけで秒数が4倍になります。探し方の問題だと思って探索のコードを読んでいましたが、犯人はそこにいませんでした。 速い道…
技術解説

原本に書き込まない — ログと向き合う4つの作法

開いただけで3バイト増えた。 そのログ、あなたが読んだあとも同じファイルですか。 「読む」つもりの操作が「書く」操作になっている瞬間は、思っているより多くあります。 原本を壊さないことは、フォレンジックの第一原則として語…
技術解説

日本語ログが読めない夜 — 文字コード4つの罠と切り分け手順

【追記 2026-10-16】いまの速さ — Shift-JIS・EUC-JP・UTF-16 も、索引で速く探せるようになりました 本文の uvp/uvf の数字は v1.6.6/v1.6.6.1(2026年9月・Mac…