Open Data: Rechte und Pflichten

Heute habe ich bei der GEOSummit einen Vortrag über Open Data gehalten: Die Verfügbarkeit von Open Government Data ist ein gemeinsamer Prozess, der sowohl Datenherren als auch Datennutzenden Rechte einräumt und Pflichten einfordert. In dem Vortrag werden einige der Rechte und Pflichten aufgelistet, die unter Anderem eine sorgsamen, ethischen und fachgerechten Umgang mit den Daten beinhaltet.

Um das Pflicht- und Rechtbewusstsein zu förden, schlagen wir vor, dass bei der Datenabgabe neben juristischen Datenlizenzen auch die ethischen und moralischen Aspekte berücksichtigt werden sollen. In verschiedenen Disziplinen wie Statistik oder 3D-Darstellungen wird bereits ein Berufsethos vermittelt, das u.A. moralische Grundsätze für das Handeln definiert. Aufgrund der Prominenz der Geodaten in OGD bietet es sich an, dass die GIS-Gemeinschaft der Schweiz vorangeht und Vorgaben zum Umgang mit „Geo-OGD“ sowohl für Datenproduzenten als auch Datenkonsumenten festlegt. Eine Zusammenarbeit mit dem Schweizer OpenData Verein soll zu einem von Produzenten und Nutzenden akepztierten Dokument führen, das die moralischen Rechte und Pflichten zusammenfasst und neben der Datenlizenz als Grundsatzdokument bei der Abgabe eines Datensatzes beigelegt werden kann.

Am Ende des Vortrages habe ich auch um Online Feedback gebeten. Dazu können Sie unten in den Kommentaren ihre Rückmeldung geben. Ich freue mich auf eine Diskussion hier oder bei einem GeoBeer.

Zusammenfassung

 

 

Services or raw data? Invalidate your cache, stupid!

Imagine, you are dependent on Open Government Data and want to include them in your workflow. Do you prefer web services (like WFS or Esri’s Feature services) or do you want the raw data? On Twitter and offline, I had several discussions on this topic. In the following, I summarize my thoughts for future reference1.

What is Open Government Data anyway?

I like to think of the use of Open Government Data (or Open Data) as using layers of services2:

pyramid-services-data

  • Raw data contains the actual measurements or atomic information. It is usually served as one block in a basic file format (CSV, Excel or even worse as unstructured PDF), may be zipped and delivered via websites, ftp or, shockingly, using traditional media such as DVD.
  • Individual features are usually served by an API, like WFS or a proprietary JSON API. The features may also be requested in bulk.
  • Aggregations or topics are based on the inidviual features and provide higher level abstractions, like a summary of the population of all cantons, based on raw population numbers.
  • Presentations may be reports, websites or even apps, which present the aggregated data in a form that is structured as a response to a problem.

It’s easy to see that raw data is the basis for all of the subsequent layers. If the raw data changes, so do the derived features, aggregations, presentations and possibly decision that has been informed by the data (products).

Consuming Open Data – It’s about invalidating your cache

In the long-term, one of the biggest challenges of Open Data is not to have the raw data publicly available, but to provide and consume up-to-date and high quality services based on the original data. As a consumer, you have to keep in mind that everything is a cache, as long as you are not the owner of the data. And arguably, handling caches is a hard thing to tackle3: You are in a dependency chain and you are not in control of the whole chain. Keep in mind that the uncontrollability of the dependency chain applies to both the provider and the consumer of third party data.

Keep Calm And Clear Cache
(Source: Flickr, nodespt, CC BY 2.0)

The Open Knowledge Foundation says: „Our Mission is a World of Frictionless Data“. In my opinion, the challenge of keeping up-to-date is one of the long-term frictions we have to overcome. By the way, other frictions are astutely described in Tyler Bell’s write-up on using 3rd party data.

Invalidating your cache means being responsible with data: If you use raw data for your services or apps, you have the responsibility to make sure your data is up-to-date for your service (or otherwise clearly mark the source and the compilation date of your content).

What should be offered, services or raw data?

But looking at this from the other end: what should the government provide? Raw data for sure. If it is part of their mission, they should also provide at least feature level and aggregation services. For example, geodata is used within many governmental processes. So, an agency has to provide services like maps or cadastral information in order to make sure others can fulfill their task, like issuing building permits. On the other hand, there are cases where services or apps are not part of the government’s mission and they should not build them (example: location analysis for real estate).

If the dataset is huge and not too many things change, data services are favorable instead of raw data downloads since it is easier to invalidate your local data cache using up-to-date data services. The turn-around from changes at the local government to changes within your workflow is generally faster than with raw data downloads (which may only be available every six month, if at all).

In Switzerland, the recently launched Open Data government portal is a great step towards frictionless data. It is a common landing point to get data that can be referenced using permalinks. However, most of the data is in Excel format with unstructured metadata (some of it zipped) or, even worse, in PDFs. And it’s still raw data.

The canton of Zurich experimentally started an approach towards services with its geodata: Currently, there are 8 WFS services, which can be accessed directly with common GIS tools, or in more popular formats like JSON with HSR’s GeoConverter.

Update 2014-04-03: On opendata.admin.ch, there is now a WFS service category (currently from canton Zürich). If you look for service for the city of Zürich, there is a catalog with 90+ datasets and services in various formats.

Update 2016-09-29: Good news: The national open data platform has been released at opendata.swiss. Among other organizations, SBB and both the canton and city of Zürich have joined the national portal. And some organiozations provide their data even both as a download and as a service – great!

What can you do as an Open Data consumer?

As said above, both the provider and the consumer should act responsibly since they are both part of the unavoidable dependency chain. As a consumer of data, you can do lots of things, some of them are:

  • Provide exact attribution with exact reference and timestamp.
  • Make sure that you get notified when the original data changes.
  • Make sure your workflow keeps your product up-to-date, such as Mike Bostock’s data compilation approach.
  • As a community: Think of an ethos of data consumers, which reminds everyone in the dependency chain to act responsibly.

Did I miss something? Probably lots of things. Let me know by pinging me on Twitter: @ping13 or by commenting below.


  1. An earlier version of this article was published on my personal blog
  2. You might be reminded of the disputable DIKW pyramid: Wisdom > Knowledge > Information > Data
  3. There is a variant of the „two-hard-things“ saying, namely: There are two hard things in computer science: cache invalidation, naming things, and off-by-one errors (Source). 

Aus WebGIS wird GIS: Eigene Daten im Geoportal

Vor knapp 3 Jahren haben wir über das Geoportal map.geo.admin.ch und dessen Programmierschnittstelle berichtet. Seitdem hat sich einiges getan: Die Webkarten wurde komplett überarbeitet und auch die API ist seit einigen Tagen aktualisiert (und die alte API Version wird Mitte Jahr eingestellt!). Die neue Webapplikation bietet neben einer verbesserten Nutzerführung auch auf mobilen Geräten auch eine verbesserte Suche nach Daten und Themen. Ein neue Option ist jedoch etwas versteckt, aber höchst interessant: Drag’n’Drop.

Beispiel einer KMZ Datei auf geo.admin.ch (Steuerertrag Kanton Zürich).
Beispiel einer KMZ Datei auf geo.admin.ch (Steuerertrag Kanton Zürich). Die Datei wurde mit der Webapp send2geoadmin hochgeladen.

„Aus WebGIS wird GIS: Eigene Daten im Geoportal“ weiterlesen

GeoSEO – Findet man Ihre Geodaten mit Google?

Wir betreiben diesen Blog mittlerweile seit drei Jahren. Mehr oder weniger regelmässig veröffentlichen wir hier einige unserer Ideen und Analysen, die ausserhalb unseres eigentlichen Tagesgeschäfts sind. Unter Anderem haben wir im Jahr 2010 „auf die Schnelle“ einen Blogpost über Geländeprofile geschrieben und eine dazu passende statische Webapplikation veröffentlicht. Heute ist unser Traffic auf durchschnittlich 200 bis 400 Pageviews pro Tag angestiegen.

geo-seo

Aber wie kommen die Leute auf geo.ebp.ch? Ganz einfach: 80%-90% entdecken uns über die Internetsuche nach einem „Höhenprofil“ oder „Geländeprofil“. So etwas nennt man wohl zufällige Suchmaschinenoptimierung oder „accidental search engine optimization (SEO)“.

Mit dieser Beobachtung und dem Artikel von Brian Timoney haben wir uns die Frage gestellt: Wieviele Internetnutzende kommen über Google (et al) direkt zu einer Karte der Schweizer Geoportale, die auch ihrem Suchbegriff entspricht? Wenn ich beispielsweise nach „Antennenstandorte in Meilen“ suche (oder nur nach „Antennenstandorte“, da ich gerade in Meilen bin), erhalte ich nicht sofort einen entsprechenden Kartenausschnitt. Erst nach einigen Klicks und weiteren Suchbegriffen bekomme ich die gewünschte Information und Darstellung auf der Karte.

Das Problem ist, dass Google und andere Suchmaschinen die Objekte in einer interaktiven Webkarte nicht indizieren. Aber unser Anfangsbeispiel zeigt, dass Google potenziell sehr viele Besucher vermitteln kann. Daher lautet die Frage: Wie können wir die Auffindbarkeit von Informationen in Geoportalen verbessern?

„GeoSEO – Findet man Ihre Geodaten mit Google?“ weiterlesen

Was in den letzten Monaten geschah – Eine subjektive Twitter Rückschau

Tweets flying at you

Tweets flying at you

In den letzten Monaten war es in unserem Blog etwas ruhig — bis auf einige Kommentare (RSS). Uns hat die Aufschieberitis (englisch Procrastination) erwischt: Es gibt viele Themen, über die wir schreiben wollen, aber wir konnten uns bisher neben dem Tagesgeschäft nicht durchringen, einen dazu passenden und qualitativ wertvollen Blogpost zu verfassen. Unterdessen sind einige von uns auf Twitter aktiv und kommentieren bzw. retweeten unter anderem auch GIS-affine Themen. Warum also nicht diese Sammlung an Tweets nutzen?

Die folgende Auswahl ist subjektiv und bei weitem nicht erschöpfend, ich habe wahrscheinlich wichtige Tweets übersehen. Schreiben Sie doch in einem Kommentar, was ich vergessen habe. Genug der Vorrede, hier also einige ausgewählte Tweets der letzten Wochen und Monate:

„Was in den letzten Monaten geschah – Eine subjektive Twitter Rückschau“ weiterlesen

Co-Referent gesucht: „Ist Crowdsourcing Teil der nationalen Geodateninfrastruktur?“

Update 25.06.2012: Die GEOSummit ist mittlerweile Geschichte, meine Folien zum Vortrag findet man auf SlideShare. Feedback nehme ich natürlich weiterhin gerne entgegen.

Einen Blogeintrag zur GEOSummit folgt noch.


Im Juni findet zum ersten Mal der schweizerische GEOSummit statt, bestehend aus einer Firmenausstellung und einem Kongress zum Thema Geoinformation. Mittlerweile ist das interessante Kongressprogramm publiziert und man kann sich für die Veranstaltungen anmelden. Ernst Basler + Partner ist mit zwei Vorträgen in den Kategorien „Crowdsourcing und Open Source GIS“ sowie „Innovative GIS-Anwendungen“ vertreten.

Unser erster Vortrag stellt die Frage „Ist Crowdsourcing ein Teil unserer nationalen Geodateninfrastruktur (NGDI)?“ (Link zum Abstract). Dabei geht es nicht um Open Government Data, also um die Bereitstellung von Daten der öffentlichen Hand, sondern um den genau umgekehrten Weg: „Wie soll die öffentliche Hand mit offenen (Geo-)Daten von Dritten umgehen?“ Wollen Sie uns mithelfen, diese Frage zu beantworten?

Co-Referent gesucht: „Ist Crowdsourcing Teil der nationalen Geodateninfrastruktur?““ weiterlesen

Ist OpenStreetMap das Wikipedia für Karten?

Vor vier Jahren haben wir im Rahmen eines Projekts in München das erste Mal OpenStreetMap (OSM) in einem Kundenbericht erwähnt. Damals bedurfte das freie Geodatenprojekt bei unserem Auftraggeber einiger Erklärungen, obwohl schon zu diesem Zeitpunkt die Stadt München in OSM qualitativ und quantitativ sehr gut abgedeckt war. In den letzten Jahren ist OSM immer mehr ins öffentliche Bewusstsein gerückt und Unternehmen wie Apple nutzen die Daten von OSM. Doch was ist OpenStreetMap genau? Eine gängige Erklärung war und ist weiterhin, OpenStreetMap sei „Wikipedia für Karten“. Als erste Näherung ist die Definition nicht schlecht, da damit insbesondere der Crowdsourcing-Charakter herausgestrichen wird. Der Vergleich wird aber eigentlich beiden Projekten nicht ganz gerecht und hilft auch nicht, OpenStreetMap im Detail zu verstehen.

Ich möchte in diesem Blogpost den Vergleich von OpenStreetMap und Wikipedia nutzen, um uns dem Phänomen freier Geodaten zu nähern. Vor anderthalb Jahren hat Oliver Kühn bereits einen Blogpost über OpenStreetMap und Wikipedia geschrieben. Wir nehmen die Idee auf und möchten eine Reihe von Ähnlichkeiten und Unterschieden aufzeigen. Wir hoffen, dass dies dem besseren Verständnis für Crowdsourcing-Projekte allgemein und OSM im Besonderen dient.

Die Ähnlichkeiten und Unterschiede zwischen Wikipedia und OpenStreetMap

„Ist OpenStreetMap das Wikipedia für Karten?“ weiterlesen

Webkarten kosten Geld – jetzt auch bei Google. Ein Preisvergleich. (Update)

(Updates siehe unten)

Im Frühling dieses Jahres haben  wir über unsere ersten Erfahrungen mit der Swisstopo API für Webkartendienste berichtet . Seitdem hat sich die API weiter entwickelt: Unter anderem sind einige neue Datenebenen hinzugekommen und eine adressgenaue Suche ist jetzt ebenfalls möglich. Auch  ein mobiler Webclient  auf Basis von HTML5 ist jetzt offiziell verfügbar. Damit hat sich für die Schweiz eine durchaus interessante Alternative zu  Google Maps  entwickelt, dem de-facto Standard für Webkarten für Konsumentinnen und Konsumenten.


„Webkarten kosten Geld – jetzt auch bei Google. Ein Preisvergleich. (Update)“ weiterlesen

Swisstopo API für alle: Ein erster Eindruck

Der Kartenwebdienst map.geo.admin.ch des Bundes ist schon seit einiger Zeit online und bietet einen schnellen und technisch hervorragend gemachten Zugang zu räumlichen Informationen des Bundes an. Unter Anderem sind die Landeskarten mit Massstab 1:25’000 und hochauflösende Luftbilder über den Browser abrufbar. Auch eine grosse Anzahl thematischer Layer sind verfügbar. Die zugrundeliegende Serverinfrastruktur basiert u.A. auf Amazons Web Services und ist sicherlich genauso spannend wie die Implementierung des WMTS und die Applikationsschicht auf Basis der ExtJS, GeoExt und OpenLayers Bibliotheken.

Screenshot map.geo.admin.ch

„Swisstopo API für alle: Ein erster Eindruck“ weiterlesen

„So happy together“ – ESRI Userforum Schweiz, GV 2011

Am 15. März 2011 fand die mittlerweile siebte Generalversammlung des ESRI Userforums Schweiz statt. Im Anschluss an die obligatorische Mitgliederversammlung hatten die ca. 70 Teilnehmenden die Gelegenheit, vier Anwendervorträge zum Thema GIS zu hören. Ich persönlich empfand mindestens drei Vorträge als sehr spannend und inspirierend. Den vierten Vortrag habe ich selber gehalten und möchte mich daher mit einer Beurteilung zurückhalten ;-).

Hier eine kurze Zusammenfassung der Vorträge:

„„So happy together“ – ESRI Userforum Schweiz, GV 2011″ weiterlesen