Services or raw data? Invalidate your cache, stupid!

Imagine, you are dependent on Open Government Data and want to include them in your workflow. Do you prefer web services (like WFS or Esri’s Feature services) or do you want the raw data? On Twitter and offline, I had several discussions on this topic. In the following, I summarize my thoughts for future reference1.

What is Open Government Data anyway?

I like to think of the use of Open Government Data (or Open Data) as using layers of services2:

pyramid-services-data

  • Raw data contains the actual measurements or atomic information. It is usually served as one block in a basic file format (CSV, Excel or even worse as unstructured PDF), may be zipped and delivered via websites, ftp or, shockingly, using traditional media such as DVD.
  • Individual features are usually served by an API, like WFS or a proprietary JSON API. The features may also be requested in bulk.
  • Aggregations or topics are based on the inidviual features and provide higher level abstractions, like a summary of the population of all cantons, based on raw population numbers.
  • Presentations may be reports, websites or even apps, which present the aggregated data in a form that is structured as a response to a problem.

It’s easy to see that raw data is the basis for all of the subsequent layers. If the raw data changes, so do the derived features, aggregations, presentations and possibly decision that has been informed by the data (products).

Consuming Open Data – It’s about invalidating your cache

In the long-term, one of the biggest challenges of Open Data is not to have the raw data publicly available, but to provide and consume up-to-date and high quality services based on the original data. As a consumer, you have to keep in mind that everything is a cache, as long as you are not the owner of the data. And arguably, handling caches is a hard thing to tackle3: You are in a dependency chain and you are not in control of the whole chain. Keep in mind that the uncontrollability of the dependency chain applies to both the provider and the consumer of third party data.

Keep Calm And Clear Cache
(Source: Flickr, nodespt, CC BY 2.0)

The Open Knowledge Foundation says: „Our Mission is a World of Frictionless Data“. In my opinion, the challenge of keeping up-to-date is one of the long-term frictions we have to overcome. By the way, other frictions are astutely described in Tyler Bell’s write-up on using 3rd party data.

Invalidating your cache means being responsible with data: If you use raw data for your services or apps, you have the responsibility to make sure your data is up-to-date for your service (or otherwise clearly mark the source and the compilation date of your content).

What should be offered, services or raw data?

But looking at this from the other end: what should the government provide? Raw data for sure. If it is part of their mission, they should also provide at least feature level and aggregation services. For example, geodata is used within many governmental processes. So, an agency has to provide services like maps or cadastral information in order to make sure others can fulfill their task, like issuing building permits. On the other hand, there are cases where services or apps are not part of the government’s mission and they should not build them (example: location analysis for real estate).

If the dataset is huge and not too many things change, data services are favorable instead of raw data downloads since it is easier to invalidate your local data cache using up-to-date data services. The turn-around from changes at the local government to changes within your workflow is generally faster than with raw data downloads (which may only be available every six month, if at all).

In Switzerland, the recently launched Open Data government portal is a great step towards frictionless data. It is a common landing point to get data that can be referenced using permalinks. However, most of the data is in Excel format with unstructured metadata (some of it zipped) or, even worse, in PDFs. And it’s still raw data.

The canton of Zurich experimentally started an approach towards services with its geodata: Currently, there are 8 WFS services, which can be accessed directly with common GIS tools, or in more popular formats like JSON with HSR’s GeoConverter.

Update 2014-04-03: On opendata.admin.ch, there is now a WFS service category (currently from canton Zürich). If you look for service for the city of Zürich, there is a catalog with 90+ datasets and services in various formats.

Update 2016-09-29: Good news: The national open data platform has been released at opendata.swiss. Among other organizations, SBB and both the canton and city of Zürich have joined the national portal. And some organiozations provide their data even both as a download and as a service – great!

What can you do as an Open Data consumer?

As said above, both the provider and the consumer should act responsibly since they are both part of the unavoidable dependency chain. As a consumer of data, you can do lots of things, some of them are:

  • Provide exact attribution with exact reference and timestamp.
  • Make sure that you get notified when the original data changes.
  • Make sure your workflow keeps your product up-to-date, such as Mike Bostock’s data compilation approach.
  • As a community: Think of an ethos of data consumers, which reminds everyone in the dependency chain to act responsibly.

Did I miss something? Probably lots of things. Let me know by pinging me on Twitter: @ping13 or by commenting below.


  1. An earlier version of this article was published on my personal blog
  2. You might be reminded of the disputable DIKW pyramid: Wisdom > Knowledge > Information > Data
  3. There is a variant of the „two-hard-things“ saying, namely: There are two hard things in computer science: cache invalidation, naming things, and off-by-one errors (Source). 

Review of the 2014 Esri Partner Conference and Developer Summit

(Eine deutsche Fassung dieses Beitrags finden sie hier)

From 9 to 13 of March, Christoph Graf and I have attended the Esri Partner Conference and the Esri Developer Summit in Palm Springs. In this blog post we report on, and assess, some of the trends that we identified primarily during the Partner Conference.

First of all, let’s state that this year’s conference was not dominated by a single buzzword (or at least less than it was by the term „cloud“ three years ago). (We will discuss the most dominant concept in this year’s conference in the next section.) Instead, many parts within Esri and its product palette are moving simultaneously. The developments can be categorised into those that have been born from within Esri’s core and those that Esri has incorporated through acquisitions. The fine breaklines (between core products and newly acquired products) that the acquisitions introduced into the Esri software range are disappearing.

If you have questions or simply want to know more after reading our article, please contact either me or Christoph Graf.

„Platform, platform, platform!“

Platform is clearly the term that has been used most during this year’s conference. Esri wants its product range to be understood as a platform. One could probably also call it an eco-system that can serve as a base to various and diverse solutions.

A crucial part (and also frequently-used term) is the Portal. The portal is the interface between servers and services on the one hand and desktop, web and mobile applications on the other hand.

The Esri portal comes in two flavours: along with the currently heavily promoted ArcGIS Online (hosted by Esri) as well as in the form of Portal for ArcGIS Server, the „ArcGIS Online behind the firewall“, i.e. within the domain of an organisation (see here and here). Esri’s platform strategy reinforces these two components within the eco-system. They will represent the single point of entry (or viewed from within an organisation: … of exit) for publishing, sharing, searching, discovering and using geodata, maps, and applications.

Top-class podium: Jack Dangermond, Sud Menon and Scott Morehouse (from left to right)

„Configure, don’t customize, stupid“

Esri follows a strategy of „more out-of-the-box“: Somewhat surprisingly within the frame of the Developer Summit, there was much talk about fitting solutions to a customer’s need through configuration rather than customisation. Esri is working on making the development of web applications and also (native, web-based, hybrid) mobile applications less and less complex for the users. They do this with so-called Application Templates and the new application Web Map Builder which allows everyone to produce web applications as well as afore-mentioned Application Templates.

Through this strategy, Esri hopes to gain an advantage with regards to agility. COTS (commercial off-the-shelf) software, i.e. the Esri products that you can license, should primarily be used. If required they can be configured, but they should not necessarily be customised. And finally Esri has (speaking from a European perspective) dared to posit that workflows of employees be shaped after the tools (and not the other way around).

Esri headquarter in Redlands

Real-time data

Esri insignia of the geo and social media geek (= Geohipster?)

The acquisition of Geoloqi in Portland (now an Esri R&D centre) has been a clear sign: Esri attaches considerable, and growing, value to real-time data. New tools such as the GeoTrigger and the GeoEvent Processor (coupled with mobile applications) are intended to satisfy (stationary or mobile) real-time data needs of customers.

This development renders geodata dynamic: The term geodata will encompass new types of data that have not been considered typically „geo“. These are e.g. traditionally dynamic data that have a location, but for which location has so far been considered mostly one attribute of many (e.g. meteo data, environmental monitoring data (air quality, hydrometric data, etc.)). Here, Esri wants to unlock new markets.

ArcGIS Pro(fessional)

With ArcGIS Pro or ArcGIS Professional, Esri has presented a prototype for the future of desktop GIS work. The name of this still somewhat mythical product is not a good one (yet) (ArcGIS light, anyone?). However, one thing is (almost) for sure: in this area, names will be ephemeral during the next few years.

The twittersphere’s take (representative sample)

ArcGIS Pro has been presented as an addition to the software range: Esri made a strong point that it will not replace ArcMap and ArcCatalog. Instead, these programs will exist side-by-side. ArcGIS Pro has the technical advantage of a 64bit-architecture and multithreading; thus, it should be clearly more performant (the demos did indeed look good in that respect). Conversely, this means that ArcMap and Co. won’t get these (actually long overdue) features anymore.

3D – again?

Three-dimensional data are a new focus of Esri (sharp tongues would say: renewed focus; even sharper ones: renewed every 5-7 years). At present this point has been clearly emphasised by the acquisition of the Swiss start-up Procedural (CityEngine): Esri believes in a strong added-value of three-dimensional visualisations and follows a holistic marketing approach by labeling CityEngine as a general-purpose collaboration platform with public engagement.

Demonstration of the hybrid approach of ArcGIS Pro: 2D and 3D side-by-side, in sync

Esri’s 3D strategy is built on two (mostly independent, non-integrated) pillars: on the one hand there is the dedicated, quite complex expert tool CityEngine. On the other hand ArcGIS Pro will feature 3D visualisation and editing functionality as a central and quite seemlessly integrated component of a mixed 2D/3D environment („it’s simply in the package„). In ArcGIS Pro, 2D and 3D will be at your fingertips, side-by-side and linked.

Finally, much progress has been made under the hood: the newest version of ArcGIS Runtime will see stark improvements of its 3D performance.

Maturation of mobile apps

Be it data capture in the field with an update for the teammates in the office or the coordinating office dispatching tasks to fieldworkers: A permanent data connection is not always given. Thus, in an increasingly mobile world synchronisation of offline data is crucial. Esri makes big efforts in this area and has managed to mature mobile apps for practical use.

Blick in die Ausstellungshalle
View of the exhibition hall

Social Coding, and more!

In his Keynote SessionChris Wanstrath, co-founder and CEO of GitHub spoke very eloquently about Social coding along the lines of the slogan: better together (you can watch his talk (as well as other talks) on Developer Summit website). Dropping out of college seems to be part of the experience of building a successful tech start-up in California. Or put differently: In order to be successful you’ll need passion, effort and focus on one thing. We are convinced of GitHub’s usefulness for our business and we thus have a company account.

 

Once more, the Esri Partner Conference and the Developer Summit have been very interesting and relevant events. We would like to give you deeper insight and we are happy to consult you regarding the changes that can already be anticipated. Please contact either me or Christoph Graf if you’d like to meet.

If you found this review interesting: The performance of in-browser translation enginges keeps getting better. Thus, consider subscribing to our RSS feed that features all our articles (also the ones in German). If you are only interested in English articles, you may want to subscribe to our custom RSS feed for articles in English. We’d be glad to welcome you in our community!

Palm Springs vor Sonnenaufgang
Palm Springs before sunrise

Rückblick auf Esri Partner Conference und Developer Summit 2014

(An English version of this text can be found here)

Ralph Straumann und ich haben vom 9. bis 13. März 2014 in Palm Springs die Esri Partner Conference sowie den Esri Developer Summit besucht. In diesem Beitrag berichten wir über die Trends, die wir vor allem an der Partner Conference identifiziert haben, und ordnen diese in einen grösseren Rahmen ein. Zuerst lässt sich feststellen, dass es dieses Jahr nicht ein bestimmtes Schlagwort gab, das die ganze Konferenz durchzogen hat – oder zumindest weniger als zum Beispiel „Cloud“ dies vor 3 Jahren getan hat. (Auf das dominanteste Konzept werden wir im nächsten Abschnitt eingehen.) Stattdessen bewegt sich im Gefüge von Esri und Esris Softwareprodukten gerade sehr vieles gleichzeitig. Die Entwicklungen teilen sich auf in solche, welche Esri aus eigener Kraft geboren hat, und solche, welche sich Esri durch die weit vorangeschrittene Integration akquirierter Firmen einverleibt hat. Die einst noch auszumachenden Bruchlinien im zweiten Fall sind im Begriff sich aufzulösen. Falls Sie nach der Lektüre unseres Artikels noch Fragen haben oder einfach mehr wissen möchten: kontaktieren sie mich oder Ralph Straumann.

„Plattform, Plattform, Plattform!“

Plattform ist mit Abstand das Wort, welches an der diesjährigen Veranstaltung am meisten benutzt worden ist. Esri möchte die eigene Produktpalette als Plattform verstanden wissen. Man könnte dasselbe wohl auch als ein eigentliches Ökosystem bezeichnen, auf dem aufbauend Diverses umgesetzt werden kann.

Ein zentraler Bestandteil (und auch ein häufig angeführtes Wort) ist das Portal. Das Portal ist das Interface zwischen Servern und Diensten auf der einen Seite und Desktop, Web- und mobilen Applikationen auf der anderen Seite.

Das Esri-Portal hat zwei Daseinsformen: Das aktuell stark promotete, bei Esri gehostete ArcGIS Online (AGOL) sowie Portal for ArcGIS Server, das „ArcGIS Online behind the firewall“, also im eigenen Einflussbereich einer Organisation (vgl. hier und hier). Die Plattform-Strategie von Esri stärkt diese beiden Instrumente innerhalb des Ökosystems. Sie werden die hauptsächlichen Anlaufstellen sein, um Geodaten, Karten und Applikationen zu publizieren bzw. zu teilen, zu suchen, zu entdecken und gemeinsam zu nutzen – der single point of entry bzw. aus Sicht einer Organisation auch: … of exit.

Hochkarätige Podiumsdiskussion: Jack Dangermond, Sud Menon und Scott Morehouse (v.l.n.r.)

„Configure, don’t customize, stupid“

Esri verfolgt eine Strategie des „mehr out-of-the box“: Erstaunlicherweise – zumindest im Rahmen des Developer Summit – war viel die Rede davon, dass Lösungen durch Konfiguration und nicht (unbedingt) durch Programmierung angepasst werden sollen. Esri arbeitet konsequenterweise stark daran, das Entwickeln zum Beispiel von Webapplikationen oder auch (nativen, web-basierten oder hybriden) mobilen Applikation für die Nutzerinnen und Nutzer stark zu vereinfachen. Das geschieht zum Beispiel über sogenannte Application Templates und die neue Applikation Web Map Builder, welche es erlaubt, sowohl Webapplikationen als auch eigene besagte Application Templates zu erstellen.

Esri erhofft sich durch diese Strategie Vorteile bezüglich Agilität. COTS (commercial off-the-shelf)-Software, also die Esri-Produkte wie man sie erwerben kann, soll primär zum Einsatz kommen. Diese soll nötigenfalls konfiguriert, aber nicht unbedingt programmiert bzw. angepasst werden. Und schliesslich hat sich Esri auch getraut zu postulieren, Workflows von Mitarbeitenden sollten den Tools angepasst werden bzw. Tools die Workflows formen.

Das Esri-Hauptquartier in Redlands

Echtzeitdaten

Esri-Insignien des Geo- und Social Media-Geeks

Mit der Akquisition von Geoloqi in Portland (nun ein Esri Research Center) hat es sich abgezeichnet: Die Bedeutung, welche Esri Echtzeitdaten beimisst, ist gross und im Wachsen begriffen. Neue Tools wie GeoTrigger und GeoEvent Processor (gekoppelt mit mobilen Applikationen) sollen Kundenbedürfnisse im Bereich der (stationären oder mobilen) Echtzeitdaten abdecken.

Geodaten werden durch diese Entwicklung dynamisiert. Der Begriff Geodaten weitet sich tendenziell auch auf neue, bisher nicht als typisch „geo“ verstandene Daten aus. Dazu gehören traditionell dynamische Daten, welche zwar einen Standort aufweisen, der aber nicht von höchster Bedeutung ist: ein Beispiel sind Meteodaten oder allgemeiner Umweltmessdaten (Luftqualität, Hydrometrie, u.ä.). Esri möchte versuchen, sich hier einen neuen Markt zu erschliessen.

ArcGIS Pro(fessional)

Mit wahlweise ArcGIS Pro bzw. ArcGIS Professional hat Esri einen eigentlichen Prototypen für die Zukunft vorgestellt. Der Name des bisher noch ziemlich sagenumwobenen Produkts ist zwar unglücklich gewählt, denn er stimmt derzeit nicht (vielleicht wäre ArcGIS Light besser?). Namen werden sich in diesem Bereich über die nächsten Jahre aber fast mit Sicherheit als sehr vergänglich erweisen.

Was das Twittervolk zu sagen hatte (repräsentativer Ausschnitt)

ArcGIS Pro wurde als Ergänzung der Palette vorgestellt: Esri war sehr bemüht, immer wieder zu betonen, dass das neue Produkt ArcMap und ArcCatalog nicht ersetzen werde. Stattdessen werden die Programme nebeneinander existieren. ArcGIS Pro hat technisch den Vorteil, dass es eine 64bit-Architektur hat und Multi-Threading unterstützt; es sollte also deutlich performanter sein (die Demos sahen denn auch gut aus). Umgekehrt heisst das auch, dass ArcMap und Co. nie mehr in den Genuss dieses (eigentlich schon längst fälligen) technischen Fortschritts kommen werden.

3D – again?

Dreidimensionale Daten sind eine neue (böse Zungen würden sagen: erneute; noch bösere: alle 5-7 Jahre erneuerte) Stossrichtung von Esri. In der aktuellen Inkarnation wurde dies zum Beispiel anhand der Akquisition des Schweizer Startups Procedural (nun CityEngine) deutlich: Esri glaubt stark an den Mehrwert dreidimensionaler Darstellungen und verfolgt bei der Kundenakquisition für CityEngine einen holistischen Ansatz, der CityEngine als collaboration platform mit public engagement vermarktet.

Demonstration des hybriden Ansatzes von ArcGIS Pro: 2D und 3D nebeneinander, synchron

Tatsächlich ruht die 3D-Strategie von Esri aber auf zwei (derzeit ziemlich disparaten/nicht integrierten) Säulen: auf der einen Seite das eben genannte dezidierte, relativ komplexe 3D-Werkzeug CityEngine. Auf der anderen Seite wird in der neuen Software ArcGIS Pro 3D-Visualisierungs- und Editierfähigkeit einen zentralen und im gewissen Sinn unspektakulär integrierten Bestandteil einer gemischten (2D/3D) Umgebung darstellen („it’s simply in the package“). 2D- und 3D-Funktionalität werden in ArcGIS Pro auf Wunsch nebeneinander, gleichzeitig und verknüpft nutzbar.

Schliesslich hat sich auch unter der Motorhaube viel getan: So soll die ArcGIS Runtime in den jüngsten Versionen stark verbesserte 3D-Performance aufweisen.

Reifung mobiler Applikationen

Ob Datenerfassung im Feld mit -aktualisierung für die Kollegin oder den Kollegen im Büro oder Aufträge von der Zentrale an die Feldmannschaften: Weil eine permanente Datenverbindung nicht garantiert ist, wird in einer immer mobiler werdenden Arbeitswelt die Synchronisation von Offline-Daten immer wichtiger. Esri unternimmt auf diesem Gebiet grosse Anstrengungen. Dadurch sind Applikationen auf mobilen Endgeräten nun definitiv für den praktischen Einsatz reif geworden.

Blick in die Ausstellungshalle
Blick in die Ausstellungshalle

Social Coding, and more!

In der Keynote Session referierte Chris Wanstrath, Mitgründer und CEO von GitHub sehr eloquent über Social coding nach dem Motto: better together (den Vortrag kann man sich auf der Developer Summit-Website zu Gemüte führen). „Dropping out of college“ scheint zum guten Ton zu gehören, wenn man es (in Kalifornien) schon in sehr jungen Jahren zu etwas bringen will. Oder anders formuliert: Um erfolgreich zu sein braucht es Passion, Fleiss und Fokus auf die eine Sache. Wir sind vom Nutzen von GitHub überzeugt und sind deshalb auch auf der Plattform vertreten.

 

Die Esri Partner Conference und der Developer Summit haben sich einmal mehr als sehr interessante und relevante Veranstaltungen präsentiert. Gerne geben wir Ihnen vertiefte Einblicke und beraten Sie dabei, wie sie die neuen Entwicklungen mit Ihrer Organisation leichtfüssig und gewinnbringend umsetzen können. Am besten kontaktieren Sie dazu mich oder Ralph Straumann für die Vereinbarung eines Gesprächs.

Palm Springs vor Sonnenaufgang
Palm Springs vor Sonnenaufgang

[Korrigenda: Sitz von Geoloqi ist Portland nicht Philadelphia]