Hilfe beim DSAB Update

[Micha Zenke]

Ich habe es gelöst!

 

Es lag daran, dass Power Automate nach 2048 Datensätzen die SQL Sicht neu lädt,

dabei neu sortiert, und dann die nächsten 2048 Datensätze lädt 🙈

 

Also @Philip Alvermann du warst schon nah dran mit deiner Vermutung das es mit Paginierung zusammenhängt.

 

@Philip Alvermann & @Bülent Erbas Vielen Dank für eure Unterstützung.

 

@Alle:

Sorry für die Vielen Nachrichten 🙈

[Bülent Erbas]

@Micha Zenke Das freut mich, das du es gelöst hast.

D.h. du warst in der Testdatenbank immer unter 2048 Datensätzen? Oder warum ist es dort nicht aufgefallen?

[Micha Zenke]

@Bülent Erbas nein es ist nicht aufgefallen, da ich scheinbar immer mit den Anlagen getestet hab die jedesmal übertragen wurden 🥳🙈

[Johanna Becker]

Großartig! Ich finde es klasse, dass die Communitypower Dich beim Finden des Fehlers unterstützen konnte! 🚀

[Philip Alvermann]

vor 11 Minuten schrieb Micha Zenke:

Es lag daran, dass Power Automate nach 2048 Datensätzen die SQL Sicht neu lädt,

Wie hast du das verhindert? Nur so für die Vollständigkeit deiner Lösung 🙂

[Bülent Erbas]

vor 3 Stunden schrieb Micha Zenke:

Also @Philip Alvermann du warst schon nah dran mit deiner Vermutung das es mit Paginierung zusammenhängt.

Ist ja auch ein Experte in API, das was ich bisher so mitbekomme 😅
Ich muss mich da noch reinlesen/reindenken, hab noch bisschen was vor mir 🙈

Aber der Austausch hier ist echt Klasse.. ich lerne dabei allerhand

[Micha Zenke]

@Philip Alvermann

Ich habe die SQL sich noch nach einer eindeutigen Spalte per ORDER BY sortiert.

 

Musste dann aller dings noch am anfang meiner abfrage den SELECT befehlt Limitieren.

Hab also gesagt SELECT TOP 10000

dann meine Normale SQL abfragen

Und am Enden den ORDER BY auf die entsprechende Spalte gelegt.

 

Hab mich bewusst für die TOP 10000 entschieden, um den gleichen wert wie bei Paginierung zu haben.

 

Wenn mans weiß ist es ganz einfach und auch nachvollziehbar.

 

[Moritz]

@Micha Zenke super, dass ihr den Fehler selber gefunden habt. Das mit der Paginierung – bzw. dass man manchmal nur Teilmengen kriegt – ist grundsätzlich eine Fehelerquelle bei Power Automate. Nicht nur mit der SQL-Action. Einen ähnlichen Fall hatte ich auch schonmal mit einer Excel-Action ("List all rows in a table").

Ich hätte ansonsten noch validieren wollen, ob die ganzen IDs alle passen (smapID, dsabID usw.), aber diese Fehlerquelle konntest du ja eigentlich schon ausschließen, weil du sagtest du hättest nix geändert und fing dann an zu klemmen...

Danke auch @Philip Alvermann und @Bülent Erbas für die Hilfe! ❤️

[Michael Klaus]

Schön, dass die Ursache gefunden werden konnte.

Hier haben wir ein Paradebeispiel, wie etwas in der Entwicklung / Testumgebung einwandfrei funktionieren kann und bei der Produktivschaltung dann "Fehler" mit sich bringt.

Ich möchte hier anmerken, dass die Paginierung auch einen immensen Vorteil mit sich bringt und zwar eine gewisse Stabilität des Automatismus.
Umso höher die Paginierung eingestellt wird, desto mehr Daten werden per einziger Abfrage übermittelt, bei SQL sind es standardmäßig 2048 und bei Excel 256. 
Es gibt viele Leute, die das Problem haben und das erste was man findet ist immer: "stell doch die Paginierung hoch".
Wie instabil das ganze am Ende wird, verrät jedoch kaum einer 😞
Desto mehr Daten auf einmal übertragen werden, desto eher riskiert man hiermit einen Timeout, da die Anfrage zu viel Zeit beanspruchen kann.

Meine Lösung in Power Automate hierfür ist, dass man die Abfragen in der Do until-Schleife in eine Variable schmeißt um am Ende ohne Timeout alle Daten zu sammeln und anschließend weiterverarbeiten zu können.

Hinweis: Ob SQL oder Excel macht kaum einen Unterschied, bis auf den SkipCount von 2048 oder 256.

 

Variablen:

Schleife - Anfang

Erläuterung zu Union:
Union fasst Listen (Arrays) zusammen und löscht Duplikate heraus (hier aufpassen, wenn Dopplungen wichtig sind!).
LINK zur Referenz von Microsoft

Wenn der nextLink leer ist, gibt es keine weiteren Daten mehr und die Schleife wird beendet.

Schleife - Ende