Processing-Scheduler läuft heiß / autom. Berechnung von Skripts

[Eckhard Holtmann]

Hallo zusammen,

die Generierung von Jobs für die automatische Indikatorenberechnung läuft leider nicht sehr performant, wenn es viele betroffene Indikatoren gibt.
Standardmäßig wird alle 3 Minuten geprüft, ob Daten aktualisiert wurden. Wenn nun z.B. eine zweistellige Zahl an neuen Zeitreihen importiert wurde, dann können die Jobs in den 3 Minuten gar nicht alle abgearbeitet werden. In der Folge schaukelt sich die Zahl der wartenden Jobs auf (bei uns derzeit fast 80.000, obwohl gerade mal 20 Indikatoren x 2 Zeitreihen x 3 Raumeinheiten aktualisiert wurden). Ich kann zwei keinen Einblick nehmen, vermute aber, dass sich in der Warteschlange eine Vielzahl gleicher Jobs befindet. Wenn das so ist, wäre eine vorgeschaltete Prüfung sinnvoll, ob sich der betroffene Indikator bereits in der Warteschlange befindet.

Wäre schön, wenn das mal in Angriff genommen würde.

Eckhard Holtmann
Kreis Recklinghausen

[Christian Danowski-Buhren]

Hi Eckhard,

danke für die Meldung.

Eine kurzfristige Übergangslösung wäre, das Prüf-Intervall höherzusetzen. Ggf. auf einmal pro Tag?

Generell soll das Thema Prozessierung und Berechnung in diesem Jahr neu aufgerollt werden. Dabei wird sicherlich auch diesem Problem Rechnung getragen. Zeitlich kann ich aber noch nicht genauer eingrenzen, wann es deploybare Updates geben wird.

Viele Grüße,
Christian

[Eckhard Holtmann]

Hallo Christian,

Danke für die Rückmeldung.
Leider hat das Hochsetzen des Prüf-Intervalls bei uns nicht funktioniert.
Die Parameterzeile wurde geändert auf:
CRON_PATTERN_FOR_SCHEDULING=* */30 * * * *
Doch statt alle 30 Minuten wurden anscheinend gar keine Jobs angelegt.
Wir haben es daraufhin wieder auf die Standard-Einstellung zurückgesetzt.

Viele Grüße
Eckhard