ETL

月次バッチが落ちた朝 — データパイプライン運用の4つの現実

line 48,213,996 だけが残っている。エラーはそれだけ。その行を、いま見られますか。パイプラインが教えてくれるのは座標だけで、現物は別の場所にあります。データパイプラインの障害は、アプリケーションの障害…

jqに食わせる前に「見る」— 構造化データを生のまま読む4場面

jqが12GBを食って落ちた。入力は8GBのJSONログです。jq は1件ずつ流して処理してくれるはずなのに、なぜメモリを使い切ったのでしょうか。原因を突き止めるのに、高度な解析は要りませんでした。要ったのは、そのフ…