巨大ファイル

センサー1万台・1日14億行 — 機器が吐くログの現場4例

1日で、14.4億行。センサー1万台が1分ごとに100項目を1行ずつ吐くと、この数になります。そのうち異常が出ているのは、1台の、1分間だけです。探し方を4つの現場で並べます。IoT、医療機器、製造ラインのPLC、研…

本番ログを持ち帰る前に — 開発環境とログの4つの摩擦

ビルドログ、48万行。落ちた理由は、そのどこかの1行です。スクロールバーを掴む前に、何をしますか。詰まる場所は4つあります。どれも「ログを自分の環境に持ってきて読む」ときに起きる摩擦です。 CIのビルドログ、本番から…

パーサが死んだ行番号だけ分かっている — 巨大データ検品の4技法

落ちたのは8342119行目。分かっているのは、それだけです。ファイルは12GB、移行の検収は明後日。その1行を、いま見に行けるでしょうか。行番号は、住所ではありません。データ検品は、障害対応と似ているようで別の仕…