機械学習

月次バッチが落ちた朝 — データパイプライン運用の4つの現実

line 48,213,996 だけが残っている。エラーはそれだけ。その行を、いま見られますか。パイプラインが教えてくれるのは座標だけで、現物は別の場所にあります。データパイプラインの障害は、アプリケーションの障害…

1億行の巨大テキストを「諦めてDBに入れる」前に — 障害調査・AIデータ前処理のための現実解と実測

「この数十GBのファイル、DBにインポートするか、小さく分割してくれ」定常運用なら、それが最も安全な正攻法です。しかし現場には、DBを構築する時間もディスクの空きもない障害対応や、1億行のデータセットのうち数行の構文エ…