Ana içeriğe geç

Cınga Veri İşleme Mimarisi

Bu doküman seti, konuşmalarda netleştirdiğimiz son mimari kararı parçalı şekilde anlatır: ham veri korunur, sentez ayrı tutulur, window ayrı tutulur, hesaplar async worker ile yürütülür.

Son Karar Özeti

  • measurements tablosu korunur (enerji dışı / EAV esneklik).
  • Enerji ham veri 4 segmente ayrılır:
    • energy_voltage_measurements
    • energy_current_measurements
    • energy_power_measurements
    • energy_energy_measurements
  • Sentez çıktıları ayrı tabloda tutulur:
    • energy_measurements_synth
  • Pencere analizleri ayrı tabloda tutulur:
    • energy_windows
  • Sentez ve kalibrasyon kuralları DB kaynaklıdır, Redis cache ile hızlandırılır.
  • Queue mesajları minimal tutulur: stream_id, device_id.

Basit İşlem Akışı

  1. Payload gelir → streams kaydı açılır.
  2. Redis’ten kalibrasyon/kural snapshot çözülür (miss olursa DB fallback).
  3. Ham enerji verisi kalibre edilip segment tablolara yazılır.
  4. synth_worker stream-anlık metrikleri ve skorları üretir.
  5. window_worker fixed + rolling pencereleri günceller.
  6. Tüm adımlar idempotent upsert ile tamamlanır.

Doküman Haritası