Metronome Replay

배포된 시계열 예측 모델을 언제 다시 학습할지 데이터로 정하는 non-stop 파이프라인. 이 페이지는 ETTh1 의 마지막 1년을 시간순으로 재생하면서, 서버와 같은 DLinear 가중치로 브라우저 안에서 직접 예측하고, 같은 검출기 코드로 오차를 감시하고, 서버 리플레이에서 실제로 재학습된 모델로 무중단 교체합니다.

공개 벤치마크(ETT) 데이터이며 실제 설비·고객 데이터가 아닙니다. 재학습 자체는 브라우저에서 할 수 없으므로, 서버 리플레이(API + worker)가 기록한 버전을 같은 시점에 불러옵니다. 저장소: sokldjs554/metronome

모델 — 스트림 — 서버 기록 대조 —

스트림 재생

현재 시각—
활성 모델—
최근 7일 MAE—
배포 시 검증 MAE—
해결된 예측0
교체 횟수0
일별 MAE (초기 학습 구간 표준편차 단위). 색 = 그날 예측한 모델 버전, ▲ = 검출기 경보, ● = 교체. 회색 점선 = 서버 리플레이가 기록한 같은 날의 MAE.

마지막 예측

OT(오일 온도) 채널. 실선 = 실제, 점선 = 현재 시각에 낸 96시간 예측. 지평이 다 채워진 예측만 감시 통계에 들어갑니다.

오차 감시

검출기통계량임계값상태경보일 (브라우저 / 서버)

이벤트

  1. 재생을 시작하면 경보·재학습·교체가 여기에 쌓입니다.

지금 서비스 중인 모델

이 교체가 어떻게 일어나나

검출기 경보 → API 가 재학습 job 을 기록 → worker 가 그 시점까지의 데이터로 콜드 학습 → ONNX 내보내기와 parity 검사 → 등록 → API 가 해시와 참조 입출력을 다시 검증한 뒤 포인터만 교체. 요청은 하나도 실패하지 않습니다(테스트로 고정). 이 페이지는 그 기록을 같은 시점에 재현합니다.

교체 뒤 최대 4일은 이전 버전이 만든 예측이 해결되므로 그 날들은 판정에서 제외합니다(회색 구간). 검출기는 새 모델이 단독으로 예측한 날부터 다시 셉니다.

오프라인 실험: 언제 재학습해야 하는가

데이터셋neverperiodic-7periodic-1대표 감시 정책교체 횟수

코드·프로토콜·결과: github.com/sokldjs554/metronome · 이 페이지의 숫자는 저장소의 artifacts/ JSON 에서 그대로 가져왔습니다.