Hilfe beim DSAB Update

[Micha Zenke]

Guten morgen zusammen, 

 

ich habe seit Freitag das Problem, dass mein Automatismus nicht mehr funktioniert.

1️⃣

Normal soll der Flow einmal am Tag um 20:00 Uhr durchlaufen.

Und die "Stammdaten" sollen aktualisiert werden.

 

Ich hab heute morgen nochmal die ID der smap, des DSAB und das API Token überprüft.

Kann mir so auch nicht erklären, warum der Flow nicht mehr läuft.

 

______________________

2️⃣

Mein 2. Problem ist, dass scheinbar nicht alle Daten (Anlagen) übertragen werden.

Das scheint allerdings auch ein Problem des Flows oder von smap zu sein.

 

Wenn ich mir die SQL Tabelle in Excel importiere, sehe ich alle Daten wie in unserer Datenbank.

Diese werden leider nicht alle übertragen.

 

___________

Hat einer von euch hier Ideen, wie ich hier weiter komme. 🤯

 

Vielen Dank schon mal Vorab 🙂

[Bülent Erbas]

Guten Morgen @Micha Zenke

hast du in der smap oder m DSAB irgendwelche Anpassungen vorgenommen, auch wenn es evtl. kleinere waren?

Bekommst du einen Error Code zurück?

 

[Micha Zenke]

Guten morgen,

nein ich hab keine Änderung / Anpassung vorgenommen.

Am Freitag um 13.50 wurden das letzte mal Daten über den Flow aktualisiert. (Das hab ich manuell ausgelöst!)

Am Wochenende hab ich nicht gearbeitet 😉

 

Nein gibt keinen Error Code. Laut dem Flow Status ist alles Erfolgreich durchgelaufen. 🙈

 

Ich kann es mir wirklich nicht erklären.

Ich bekomme auch im "Vorletzten" Punkt >>Put Data Source<< noch einen Datenabruf mit 6576 Daten.

 

Und in den  letzten 3 HTTP GET/PUT/PUT auch entsprechend einen Statuscode 200

[Philip Alvermann]

vor einer Stunde schrieb Micha Zenke:

Diese werden leider nicht alle übertragen.

Bist du dir sicher? 

Hast du mal die Anzahl der Datenzeilen geprüft, Datenbank = DSAB?
Ein DSAB bekommt ja nur noch ein Update wenn sich der Inhalt ändert, also die smap ja dem entsprechend auch.

[Micha Zenke]

Ja es fehlen ganz sicher Daten im DSAB die aber in der SQL Abfrage vorhanden sind.

 

vor 6 Minuten schrieb Philip Alvermann:

Ein DSAB bekommt ja nur noch ein Update wenn sich der Inhalt ändert, also die smap ja dem entsprechend auch.

Das kann ich mir nicht Vorstellen, Ich habe eine smap wo alle genau gleich ist nur wo ich auf unsere TEST Datenbank zugreife. Und dort bekomme ich jeden Tag ein update. Und da ändern sich sicher weniger Daten als in der "Live" Datenbank.

@Philip AlvermannWenn ich es richtig verstanden hab kann man sich für eine Beta freischalten lassen, bei der der DSAB nicht mehr jedesmal ein Update der smap Hervorruft. Das habe ich allerdings bis jetzt noch nicht.

 

Hab die Daten auch nochmal vergleichen:

Hier der SQL Auszug

Hier der DSAB Auszug

Beide Tabellen sind nach der Anlagennummer sortiert und die Nummer 11323 fehlt im DSAB.

 

[Philip Alvermann]

vor 8 Minuten schrieb Micha Zenke:

Das kann ich mir nicht Vorstellen, Ich habe eine smap wo alle genau gleich ist nur wo ich auf unsere TEST Datenbank zugreife. Und dort bekomme ich jeden Tag ein update. Und da ändern sich sicher weniger Daten als in der "Live" Datenbank.

https://community.smapone.com/stories/smaplight-release-v1-117

Schaust du unter Plattform, Punkt 3

[Micha Zenke]

vor 2 Minuten schrieb Philip Alvermann:

https://community.smapone.com/stories/smaplight-release-v1-117

Schaust du unter Plattform, Punkt 3

Hallo @Philip Alvermann,

Danke für die Info.

Verstehe ich trotzdem nicht, warum mir Daten fehlen, bzw. warum in der "parallel" smap mit der Test Datenbank täglich das Update kommt.
Und in der anderen kommt es nicht. 🫣🤷‍♂️

[Micha Zenke]

Hab jetzt nochmal die Daten im DSAB gelöscht.

Flow neu ausgeführt.

 

UPDATE ist gekommen.

 

Aber leider fehlen wieder die Daten bzw. habe ich gerade gesehen, dass eineige Daten doppelt vorkommen.

Was allerdings in der SQL abfrage auch nicht so ist.

 

Ich bin gerade sehr verzweifelt. wollte eigentlich heute mit der smap die erstan Tester ausstatten. Aber so ist mir das zu unsicher

@Moritz weißt du hier noch einen Rat?

[Bülent Erbas]

Nicht das dein smap ein Problem hat... @Micha Zenke

Vielleicht wendest du dich an den Support support@smapone.com

 

[Philip Alvermann]

vor 28 Minuten schrieb Micha Zenke:

Aber leider fehlen wieder die Daten bzw. habe ich gerade gesehen, dass eineige Daten doppelt vorkommen.

Was allerdings in der SQL abfrage auch nicht so ist.

Wenn du dir das Json das aus deiner SQL-Abfrage gebaut wird anschaust, ist das denn richtig?
Bei uns funktioniert das Update auf die DSAB's nach wie vor korrekt.

Eventuell baust du dir einen zweiten Fow und lässt das Ergebnis in ein Text-File schreiben und prüfst das.
Mit dem Inhalt des Files kann du dann ja auch das Update im Swagger der Rest-API ausführen.

 

[Micha Zenke]

@Philip Alvermann nein selbst in Zeilen abrufen V2 fehlen schon die Daten.

Was ich wie gesagt nicht nachvollziehen kann, da ich genau die gleiche SQL Tabelle in Excel "öffne" und alle Daten vorhanden sind 🤯🥺

[Philip Alvermann]

Dein Gateway ist richtig eingerichtet und konfiguriert?
Holst du die Daten mit einer Query oder direkt aus der Tabelle?
Falls du die Daten per Query holst, prüfe dein SQL-Statement.

 

ps.: ein schöner Link um sein Json wieder in einer Tabelle zu sehen json2table

Edited July 24, 2023 by Philip Alvermann

[Micha Zenke]

Ja das Gateway müsste so passen.

Nein greife direkt auf die SQL Tabelle zu.

 

Fällt einem noch was bei den Einstellungen zu dem Zeilen abruf V2 auf?

Stimmt da eine Einstellung ggf. nicht?

 

Danke für den Link 😉

[Bülent Erbas]

Der Flow von deinem Parallel-smap ist doch identisch eingerichtet? Habe ich das richtig verstanden?
Falls ja, dann denke ich nicht das es an den Einstellungen liegt...

[Micha Zenke]

@Bülent Erbas da hast du recht.

Stelle gerade aber alles in Frage, da mir bei der Testdatenbank ggf. die Fehler nicht aufgefallen sind

[Bülent Erbas]

@Micha Zenke Klone doch die smap und den Flow von der Testdatenbank (erneut?) und geh das nochmal durch.

 

[Philip Alvermann]

Paginierung, finde ich auch kritisch.
Dein Flow wird ja nicht weitersteppen. Hast du mal einen Count auf deine Daten gemacht, sind das mehr als 10000?

Edited July 24, 2023 by Philip Alvermann

[Micha Zenke]

Hab Paginierung gerade mal deaktiviert aber dann bekomme ich nur 2048 Daten.

 

Ich habe in der "Live" Datenbank aber 6578 Datensätze.

Diese werden ja auch übertragen nur leider manche Doppelt und andere dafür nicht

 

[Philip Alvermann]

Da ist dann mein Latein auch am Ende.

[Micha Zenke]

@Philip Alvermann Trotzdem vielen Dank für deine Unterstützung. 👍

Ich bin mit meinem Latein ja auch am Ende 🤷‍♂️

[Bülent Erbas]

@Micha Zenke Werden im smap evtl. bestimmte Kriterien nicht erfüllt, dass diese erst gar nicht übertragen werden?

Hast du sowas eingebaut?

[Micha Zenke]

In dem Flow werden bei Auswählen nur die SQL Spalten auf die DSAB Spalten aufgeteilt bzw. zugeordnet.

 

Ich wüsste nicht wo ich in der smap diese Kriterien entsprechend einstellen könnte das die Daten aus dem Flow im DSAB nicht ankommen.

Aber solltest du @Bülent Erbas recht haben, frage ich mich dennoch warum dann manche Datensätze doppelt übertragen werden

[Bülent Erbas]

Gibt es bei den fehlenden Datensätzen und den doppelten Datensätze evtl. einen Zusammenhang?
Kannst du anhand der betroffenen Datensätze einen Muster erkennen, wann es fehlt und wann es doppelt ist?

[Micha Zenke]

Ich hab es über Excel Gerade nochmal ausgewertet.

Es fehlen in Summe 1469 Anlagen.

Ich kann leider keinen Zusammenhang feststellen... ich weiß wirklich nicht weiter.

Bin schon am überlegen die Daten aus der Excel Tabelle in den DSAB zu laden.

Das wollte ich aber gerade eigentlich vermeiden, sonst muss ich ja jede Woche den DSAB manuell akutalisieren

 

 

[Bülent Erbas]

@Micha Zenke irgendwie habe ich das Gefühl das es am DSAB hängt.

Kannst du es vielleicht mit weniger Anlagen ausprobieren? Ist das möglich? Vielleicht mit 10, dann  z.B. 100?