データ検品

パーサが死んだ行番号だけ分かっている — 巨大データ検品の4技法

落ちたのは8342119行目。分かっているのは、それだけです。ファイルは12GB、移行の検収は明後日。その1行を、いま見に行けるでしょうか。行番号は、住所ではありません。データ検品は、障害対応と似ているようで別の仕…

jqに食わせる前に「見る」— 構造化データを生のまま読む4場面

jqが12GBを食って落ちた。入力は8GBのJSONログです。jq は1件ずつ流して処理してくれるはずなのに、なぜメモリを使い切ったのでしょうか。原因を突き止めるのに、高度な解析は要りませんでした。要ったのは、そのフ…