Konvertierung von Smart City smap-Daten in Open Data Formate für kommunale Datenhaushalte

[Klaus Hartmann]

Hallo liebe smapOne Community,

ich bin gerade an einem Projekt beteiligt, bei dem wir Daten aus einer Smart City smap (defekte Straßenlaternen, Schlaglöcher, Müllprobleme etc.) sammeln und in den Datenhaushalt unserer Kommune integrieren möchten. Um das zu bewerkstelligen, benötigen wir die Daten in einem Open Data Format, idealerweise CSV oder JSON.

Derzeit würden wir die Daten nach Excel exportieren und dann mit Excel-Funktionen die Datei umbauen.

Habt ihr Erfahrungen oder Tipps, wie man Daten aus einer smap automatisiert in diese Formate konvertieren kann?

In einem ersten Schritt denken wir an folgende Anforderung:

Als smapOne Daten-Leser, möchte ich

• aus den smap-Daten (bestimmte Spalten, alle Zeilen einer smap-Version) automatisiert täglich eine CSV- oder JSON-Datei erstellen
• und die Datei in einem Cloud Filesharing System (z.B. OneDrive) automatisiert ablegen lassen,

damit ich die Datei in ein Open Data Portal per Hand hochladen kann.

 

Ich wäre sehr dankbar für jeden Einblick oder Ratschlag zu diesem Thema. Insbesondere welche Automatisierungstools dafür geeignet sind und grundsätzliche Lösungsschritte und Überlegungen.

Vielen Dank eure Unterstützung!

Viele Grüße
Klaus

[Manuel Rühl]

Guten Morgen,

Das sollte eigentlich ganz gut mit PoqerAutomate/Zapier/Make/... zu bewerkstelligen sein.

Hast Du eine Beispiel-Smap und einen Beispiel-Output?

[Moritz]

Heyho Klaus, über die API von smapOne kannst du alle Daten ja bereits im JSON-Format abrufen. Der Umweg über Excel ist deshalb aus meiner Sicht gar nicht nötig. Du benötigst nun "lediglich" einen Dienst, der dir die Daten von smapOne als JSON abruft, die dann in die von dir gewünschte Struktur transformiert und dann z.B. in OneDrive ablegt.

Ich würde euch hierfür einen modernen Low-Code-Ansatz mit PowerAutomate, Zapier oder Make.com empfehlen. Den Schnittstellen von smapOne und OneDrive ist es aber egal, wer oder was die Daten abruft oder übergibt. Es könnte also auch ein lokales PowerShell-Script oder eine "in der Cloud" betriebene Java/.NET/PHP/JavaScript-Applikation sein.

[Klaus Hartmann]

vor 2 Stunden schrieb Moritz:

über die API von smapOne kannst du alle Daten ja bereits im JSON-Format abrufen. Der Umweg über Excel ist deshalb aus meiner Sicht gar nicht nötig. Du benötigst nun "lediglich" einen Dienst, der dir die Daten von smapOne als JSON abruft, die dann in die von dir gewünschte Struktur transformiert und dann z.B. in OneDrive ablegt.

Ich würde euch hierfür einen modernen Low-Code-Ansatz mit PowerAutomate, Zapier oder Make.com empfehlen.

Hallo Moritz, danke für die schnelle Antwort.

Ich bin mit Hilfe deines REST-API Tutorials und Make.com in der Mittagspause schon bis zum Parsen von JSON gekommen. Daily Scheduling und OneDrive Upload habe auch schon in Make.com gefunden.

Ich denke, damit wird's gehen.

Super.

Viele Grüße

Klaus

[Moritz]

Das klingt doch super. Melde dich hier gerne, wenn es mal klemmt und du weitere Hilfe brauchst. Oder auch um uns zu melden und zu zeigen, wenn es glatt und sauber klappt! 😉

[Klaus Hartmann]

Am 4.1.2024 um 20:35 schrieb Moritz:

uns zu melden und zu zeigen, wenn es glatt und sauber klappt!

Klappt glatt und sauber - auch Dank der super API Dokumentation in Swagger. Ich habe dazu einen Beitrag auf meiner Blog-Seite geschrieben: https://nocodecreators.de/2024.html 

[Moritz]

Sehr stark! 💪🏼 – vielen Dank für die Rückmeldung. Und wie ist deine Meinung? Automatisierung und Integration ist doch im Grunde auch ein Klacks mit den modernen No-/Lowcode-Tools, oder? 😄