SRE

1億行の巨大テキストを「諦めてDBに入れる」前に — 障害調査・AIデータ前処理のための現実解と実測

「この数十GBのファイル、DBにインポートするか、小さく分割してくれ」定常運用なら、それが最も安全な正攻法です。しかし現場には、DBを構築する時間もディスクの空きもない障害対応や、1億行のデータセットのうち数行の構文エ…

オンコールの夜を軽くする — 深夜2時の自分を助ける4つの仕込み

2時14分、9回目の開き直し。同じ50GBのログを、今夜だけでもう9回開いています。なぜ調査は、同じファイルを何度も開き直す作業になるのでしょうか。答えは、あなたの手際とは関係のないところにあります。深夜2時の自分…