パフォーマンス

技術解説

ファンレスMacでベンチを取ったら54%ブレた — サーマルスロットリングとラウンドロビン計測

検索エンジンのスレッド数スケーリングを実測したときの話です。本編の結果は別記事に書きました。今回はその裏側——最初の計測結果を丸ごと捨てた話をします。ベンチマークを取る人には他人事ではないはずです。 --- 1スレッドか…
技術解説

検索スレッドは何本が正解か — 8.9億行を1〜16スレッドで実測した

大きなテキストを並列検索するとき、スレッドは何本にすべきか。「コア数ぶん」「コア数×2」「物理コアまで」——通説はいろいろありますが、自分のアプリの、実物のデータで測った数字がいちばん信用できます。 UwView Pro…
技術解説

51GB・8.9億行を開いて、理論上どこまで開けるのか計算してみた — 実データと「約920京行」の話

大容量テキストビューア「UwView」をGitHubで公開した記事では「最大2億行クラスを高速に閲覧できる」とうたっていました。ただ、それまでの実測は行番号を振っただけの合成データでのもの。「実際の、しかも桁違いに大きい…
技術解説

8.9億行を開いたテキストビューアは、理論上どこまで開けるのか?

「最大2億行」とうたっていた自作の大容量テキストビューア「UwView」で、先日OpenStreetMap日本全域をXML化した51GB・約8.9億行のファイルが問題なく開けたことを確認しました。総行数はwc -lと1行…