Projektbeispiele: Projektplattform in China, Geodaten im EDA und AV-Interlis in Schwyz

In der Serie „Projekte“ möchten wir Ihnen in unregelmässigem Rhythmus einige Highlights aus der Arbeit von EBP Informatik vorstellen. Heute drehen sich die vorgestellten Projekte um die Themen kollaborative Projektplattformen, Geodateninfrastruktur und Spatial ETL mit FME.

Jinsha: Projektplattform für ein internationales Team

Unsere Expertinnen und Experten untersuchen in einem internationalen Projektteam in China den Einfluss des Klimawandels auf das Wasser-Management. EBP hat zur Unterstützung des Vorhabens eine kollaborative Projektplattform auf Basis von Microsoft Sharepoint aufgebaut.

Die Sharepoint-Plattform dient dem Austausch, der Projektdokumentation und der Vereinfachung des Projektmanagements. Alle Beteiligten sind stets auf demselben Informationsstand und Dokumente können von mehreren Personen gleichzeitig bearbeitet werden.

→ mehr Informationen

 

Initialisierung der Geodateninfrastruktur des Eidgenössischen Departements für auswärtige Angelegenheiten

Das Eidgenössische Departement für auswärtige Angelegenheiten (EDA) benötigt für die Erfüllung seiner Aufgaben eine vernetzte Informationslandschaft. Geoinformationen sind ein essentieller Teil davon. EBP begleitete das EDA bei der Initialisierung des Projekts „Geodateninfrastruktur EDA“ gemäss Hermes 5-Methodik.

Im Rahmen von Interviews und Workshops ermittelten wir die Bedürfnisse des EDA an die geplante GDI. In einer Studie nach Hermes 5 haben wir Situationsanalyse, Ziele, Anforderungen und Lösungen dokumentiert, technologieneutral Varianten vorgeschlagen und schliesslich eine Empfehlung abgegeben.

→ mehr Informationen

 

Amtliche Vermessung: Datenimport mit FME

Die Geodaten der amtlichen Vermessung (AV) werden im Kanton Schwyz gemeindeweise bewirtschaftet. Der Kanton macht diese AV-Daten dann zentral verfügbar. Um dem Kanton Schwyz diese Aufgabe zu erleichtern, hat EBP den Import von Interlis-Daten der AV in die kantonale Geodateninfrastruktur mit dem state-of-the-art ETL-Werkzeug FME umgesetzt.

Die im Interlis-Format vorliegenden AV-Daten können so per Knopfdruck in die kantonalen Geodatenbanken (ORACLE und PostGIS) importiert werden. Mit diesen Datenbanken unterstützt der Kanton Schwyz den internen und öffentlichen Gebrauch der Vermessungsdaten und die Anzeige der Daten im kantonalen WebGIS.

→ mehr Informationen

14 Milliarden Punkte offengelegt: Zürichs Open Data-DTM

Seit einigen Monaten stellt der Kanton Zürich seine durch Laserscanning erhobenen, hochaufgelösten Höhendaten kostenlos und ohne Einschränkungen in der Benutzung zur Verfügung. Erhältlich sind die folgenden Produkte:

  • Digitales Oberflächenmodell (DOM), Rasterformat mit 0.5 m Auflösung
  • Digitales Terrainmodell (DTM), Rasterformat mit 0.5 m Auflösung
  • Digitales Terrainmodell (DTM) als Punktwolke im Format ASCII-xyz
  • LIDAR-Rohdaten als Punktwolke im Format LASzip

Der Datenbezug läuft über den GIS-Browser des Kantons, mit Kachelauswahl in der Karte. Der Zugriff auf das Download-Verzeichnis der Kacheln steht ebenfalls offen. Dieser hindernisfreie Zugang und die Open Data-Lizenz machen unsere Arbeit wesentlich einfacher und effizienter. Wir haben stets die aktuellen Daten ohne langwierige Bestellungen verfügbar. Entsprechend intensiv nutzen wir die Höhendaten, seitdem sie als Open Data verfügbar sind. (Unsere Nutzung spiegelt sich sicherlich auch in den Zugriffsstatistiken des Kantons wieder). In diesem Artikel möchte ich einen Überblick über die verschiedenen Anwendungen dieser Daten bei EBP geben.

Breite Verwendungsmöglichkeiten

Als interdisziplinäres Ingenieurunternehmen können wir die Daten in den meisten unserer Geschäftsbereiche nutzen: Im Bereich Verkehrsbau beispielsweise dienen diese hochgenauen Daten als Grundlage für die Trassierung von Strassen. Die Genauigkeit der Höhenpunkte lässt eine Verwendung in allen Projektphasen zu, mit Ausnahme des Ausführungsprojekts. Die LIDAR-Daten ersetzen damit terrestrische Vermessungen und helfen so den Auftraggebern, Kosten zu sparen. Im Bereich Wasserbau und Naturgefahren setzen wir diese Art von Daten für die Modellierung von Hochwasser ein. Das Resultat sind Gefahrenkarten, Schutznachweise oder Dimensionierungen notwendiger Schutzbauten.

punkte_thalwil
Gebäude- und Bodenpunkte beim Bahnhof Thalwil (Grundlage: Geodaten © GIS-ZH)

Weitere Anwendungen sind die Lärmmodellierung  sowie die Erstellung von Gebäudeprofilen und Visualisierungen im Rahmen der Arealentwicklung. Sogar als Grundlage für den Bau eines ausgesprochen un-digitalen Gipsmodells für einen Architekturwettbewerb haben wir die Höhendaten des Kantons Zürich schon genutzt.

Raster vs. TIN

Sehr oft verwenden wir die Höhendaten in ihrer Rohform als Punktwolke. Dank der Klassierung der Punkte in u. a. Bodenpunkte, Vegetation und Gebäude lassen sich spezifische Produkte erstellen. Häufig ist eine Kombination aus Boden- und Gebäudepunkten gefragt, jedoch ohne Vegetation. Das Raster-DOM kann diese Anforderung nicht abdecken, da es keine explizite Unterscheidung von Gebäude und Vegetation zulässt.

Ein zweites Argument für die Rohdaten ist, dass die weitere Verwendung in Programmen erfolgt, die nur mit Dreiecksvermaschungen arbeiten (Allplan, Stratis). Diese Datenstruktur – auch trianguliertes irreguläres Netzwerk (TIN) genannt – hat gegenüber Rasterdaten den Vorteil, dass die Informationsdichte über den Raum variieren kann. Dort wo das Gelände sehr variabel ist, ist eine hohe Informationsdichte wünschenswert. Bei uniformen Flächen hingegen reichen wenige Höhenpunkte, um das Gelände mit genügender Genauigkeit und wenig Datenvolumen zu beschreiben. Wenn man Rasterdaten als Grundlage für die Erstellung eines TINs verwendet, beraubt man sich dieses Vorteils.

Und die Prozessierung?

Zum Schluss noch ein paar technische Details zur Aufbereitung der Daten: Die Verarbeitung der Daten haben wir automatisiert und parametrisiert innerhalb eines FME-Workspaces. Die dafür erforderlichen Kacheln werden mit einer Überlagerung des Kachelblattschnitts mit dem gewünschten Perimeter ausgewählt und direkt vom Server des Kantons heruntergeladen.

Danach werden die erforderlichen Punkte aufgrund der Klassierung (Gebäude, Boden, etc.) gefiltert und situativ ausgedünnt, um den resultierenden Datenumfang zu reduzieren. Abschliessend wird die Punktwolke in einem für das Zielprogramm lesbaren Format (meist DWG) gespeichert. Solche massgeschneiderten Modelle sind von handlicher Grösse und damit effizient nutzbar.

Ausduennen_vorher_nachher
Ausdünnen des Modells: Vorher und nachher
  • Möchten Sie für Ihre Ingenieurarbeiten ebenfalls hochaufgelöste Geländedaten effizient einsetzen, kämpfen aber mit Problemen aufgrund von Formaten und Dateigrössen?
  • Oder sind sie interessiert am automatisierten Download und der Weiterverarbeitung von Daten?
  • Oder überlegen Sie sich, Ihre Fachdaten ebenfalls für die Allgemeinheit zu öffnen?

Dann nehmen Sie Kontakt mit uns auf. Wir helfen Ihnen gerne bei allen diesen Fragen.

Darstellung entlang von Achsen

Im Rahmen der Orientierungslauf-Weltmeisterschaften 2012 in der Schweiz gab es auch einen OL von Kreuzlingen am Bodensee bis nach Lausanne am Lac Léman führte. Daran beteiligt waren über 150 Läufer, die auf je einer OL-Karte eine Bahn absolvierten. Diese Karten schlossen sich aneinander an und so entstand die Idee, daraus die längste OL-Karte der Welt zu erstellen. Ich durfte die technische Umsetzung dazu machen.

lacOlac

Die Karten befanden sich entlang der roten Linie und ich stand vor der Aufgabe, diese Daten so zu verarbeiten, dass am Schluss eine Karte im Massstab von rund 1:10’000 herauskam, die nicht höher als 90 cm, sein durfte, in der Länge jedoch unbegrenzt war. Wie man leicht abschätzen kann, gelingt es mit normalen Transformationen nicht, entsprechende Anforderungen zu erfüllen.

Nach einigen Überlegungen entschloss ich mich, die rote Linie massstabsgetreu auf eine Gerade abzubilden. Jeder Punkt wurde so abgebildet, dass die x-Koordinate seinem Fusspunkt auf die rote Linie entsprach und die y-Koordinate dem Abstand zur Linie. Dadurch gelang es ohne grössere Probleme, die maximale Höhe der Karte einzuhalten, dies auf Kosten von zum Teil relativ grossen Verzerrungen.  Einzelne Regionen wurden gar doppelt abgebildet. Die Karte erhielt übrigens eine Länge von knapp 300 km, resp. 30 m im Massstab 1:10’000 und wurde auf eine entsprechend lange Plane ausgedruckt.

__comb_30

Ausschnitt aus der länsten OL Karte

Die Verzerrungen stehen in Funktion zum jeweiligen lokalen Radius der Linie, je kleiner der Radius desto grösser die Verzerrung.  Knicke in der Linie führen gar zu unendlich grossen Verzerrungen. Deshalb wurden bei der Linie Bezier-Stücke verwendet.

Ähnliche Fragestellungen wie bei der längsten OL-Karte stellen sich auch bei linienförmigen Objekten wie Strassen, Eisenbahnlinien und auch Flüssen. Mit ein paar Anpassungen, damit auch Polylinien mit kleineren Knicken vernünftig als Zentrallinie gebraucht werden können, sollten auch hier Darstellungen einfach erstellt werden können, die die Linie und ihre Umgebung in einer intuitiven Art zeigen.

Projektbeispiele: Geodatenmodelle, Unfallanalysen und Geoinformationsstrategie

In der Serie „Projekte“ möchten wir Ihnen in unregelmässigem Rhythmus einige Highlights aus der Arbeit von Ernst Basler + Partner (EBP) vorstellen. Heute drehen sich die vorgestellten Projekte um die Themen minimale Geodatenmodelle, Analysen des Unfallgeschehens im Strassenverkehr und die Formulierung einer modernen Geoinformationsstrategie.

Minimale Geodatenmodelle in INTERLIS

Minimale Geodatenmodelle machen es einfacher, Geodaten zu nutzen und Datensätze unterschiedlicher Herkunft miteinander zu kombinieren. Minimale Geodatenmodelle sind auch ein wichtiger Beitrag für die Harmonisierung von Daten zwischen verschiedenen Akteuren.

Diese Ziele sind im Geoinformationsgesetz (GeoIG) der Schweiz verankert. EBP unterstützt diverse Stellen bei ASTRA, BAFU und BFS bei der Erarbeitung minimaler Geodatenmodelle in der Modellierungssprache INTERLIS.

→ mehr Informationen

 

Verkehrssicherheitsgewinne aus strukturierten Datenanalysen

Die Sicherheit im Strassenverkehr ist ein drängendes Thema. Die Schweizerische Vereinigung der Verkehrsingenieure und Verkehrsexperten (SVI) hat 2013 das Projekt „Verkehrssicherheitsgewinne aus Erkenntnissen aus Datapooling und strukturierten Datenanalysen (VeSPA)“ aufgelegt.

In Phase 1 bearbeitete EBP zusammen mit der PTV Transport Consult zwei Teilprojekte zu Wetter-Einflüssen und zu Infrastruktur-Einflüssen auf das Unfallgeschehen im Strassenverkehr.

Von den identifizierten Einflussfaktoren und Zusammenhängen mit dem Unfallgeschehen lassen sich Massnahmenansätze ableiten und deren Wirkung abschätzen. Ferner können auf Basis der Resultate Unfallmodelle als Hilfsmittel zur Entscheidungsfindung im Sicherheitsmanagement formuliert werden.

Seit Januar 2015 bearbeiten EBP und PTV Transport Consult Phase 2 des Forschungsprojekts VeSPA.

→ mehr Informationen

 

Geoinformations-Strategie für den Kanton Schwyz

Daten und Informationen werden in unserer Gesellschaft immer wichtiger. Geodaten kommt dabei spezielle Bedeutung zu, angetrieben von Trends wie mobilem Internet, Cloud-Infrastruktur, Augmented Reality, Self-Tracking und dem Internet of Things.

Im Zuge dieser Entwicklungen möchte sich der Kanton Schwyz eine zukunftsorientierte Geoinformationsstrategie erarbeiten. EBP hat den Kanton Schwyz im Strategieprozess unterstützt mit der Durchführung von Workshops, der Schärfung des Strategiebegriffs und der Definition der Bestandteile einer Strategie. Ferner hat EBP relevante gesellschaftliche und technologische Entwicklungen aufgezeigt, welche in der Strategie aufgegriffen werden sollten.

→ mehr Informationen

Let there be light: Data visualization with SAP Lumira

GIS and Business Intelligence (BI) are buzzwords you hear together increasingly often (see also our articles on GISconnector, which we consider a low-cost, easy-entry BI solution). Inspired by this article from iX magazine I decided to have a look at the „self-service BI“ solution SAP Lumira. Lumira is an analysis and visualization tool and SAP offers a freely downloadable version. There is also a standard edition with more features that sets you back almost 1,000 $. The workflow in the application is simple: You import some data and prepare it, create visualizations and publish them.

map

Data Source for all visualizations: World Bank (© 2010 The World Bank Group)

Prepare
In the free version you can use Excel Sheets, CSV data, copy data from the clipboard or connect to a SAP HANA One database. The full version also lets you access databases with SQL queries. For my trial I found an Excel table about global energy use provided by the World Bank (downloaded from www.visualizing.org). After loading the data you can prepare it for the visualization: Filter, calculate new values or join different datasets together.

You can also create a so-called geographic hierarchy to visualize the data on a map. A geographic hierarchy is a kind of geocoding: Geographic placenames are matched with an internal database to add location to your data records. The good thing is, that it clearly identifies records that could not be automatically matched. It then offers you the possibility to select possible matches from a list. Unfortunately, you can only choose from this non-extendable list. For some reason it did not suggest Slovakia as match for Slovak Republic which would have left changing the country name in the input data as the only remaining option. Luckily, I had also country codes in my dataset which worked much better and are obviously better practice, if you have them available.

geohierarchy

 

Visualize
Now comes the really cool part: Drag and Drop visualization. Just select one of the many available charts, drop your measures and dimensions on the X and Y axes, apply some filters on the data and your diagram is ready. This is really comfortable (and I can tell, having recently spent hours producing some rather simple graphs with R and ggplot).

Apart from classic graphs you can also create maps. These are nice for a first impression, offering zooming, panning and mouseover information. But overall the maps are pretty basic with almost no options to influence the display. The full version offers the possibility to use ArcGIS Online maps which brings a broader range of functionality.
For my trial I tested only simple visualizations. But Lumira also offers some fancier variants e.g. heatmaps, network diagrams or tagclouds.

Compose
After creating visualizations to make your point, you can aggregate them into a report or a „board“. The nice thing is that the charts remain interactive. I haven’t yet tried all possibilities but you could probably do similar things as with storymaps.

Share
The next step is to make your visualizations available for others. Unfortunately there is (at least in the free version) no option to export the graphics as PDF or image files. This would be useful in order to be able to include the graphics in reports and presentations.

One possible solution to this is to upload your board to the Lumira Cloud. That is very neat and you can then provide access to individual users or the whole world. proved to be an unexpected hassle and you can only enjoy my screenshots for the moment.

A few words about the data

energyUse
For this little test I was more interested in the tool than in the data itself. Some things look quite interesting though. Whereas the per-capita energy consumption for most countries has increased between 1970 and 2005, Luxembourg shows a massive decrease. My first hypothesis for the cause of this unexpected outcome is the demise of the heavy industry, but I have not yet found a confirmation for this. Perhaps you, dear reader, know more?

GISconnector: Der Beginn einer wunderbaren Freundschaft zwischen ArcGIS und Excel

Seit September 2014 sind wir von Ernst Basler + Partner Schweizer Vertriebspartner für den GISconnector for Excel . Der GISconnector ist eine Software der deutschen GI Geolabs. Im folgenden Artikel präsentieren wir die neuen Möglichkeiten, die sich durch das enge Verzahnen von ArcGIS und Excel ergeben. Kontaktieren Sie uns bei Fragen oder für eine unverbindliche Demonstration per Screensharing.

Vertragsunterzeichnung
Stephan Heuel von Ernst Basler + Partner und Matthias Abele von GI Geolabs unterzeichnen den Vertrag über die Vertriebspartnerschaft

Doch zuerst: Was bietet der GISconnector? Er verbindet auf intelligente Weise die Fähigkeiten von Esri ArcGIS Desktop mit jenen von Microsoft Excel. Der Clou dabei ist: Alle Arbeitsschritte, welche die Attributdaten betreffen und welche normalerweise mit der Attributtabelle in ArcGIS ablaufen, können mit Excel erledigt werden. Damit hat man alle Möglichkeiten einer modernen Tabellenkalkulations-Software zur Verfügung, perfekt integriert in ArcGIS. Es ergibt sich eine signifikante Erleichterung der Arbeit mit Attributdaten und für die meisten von uns eine grosse Zeitersparnis. Hier findet man eine ausführliche Beschreibung der Funktionalität des GISconnectors.

GiSConnector

Das Vorgehen mit dem GISconnector for Excel sieht grundsätzlich so aus: Ich lade eine Feature Klasse als Layer in ArcMap. Geodatabase oder Shapefile spielt dabei keine Rolle. Mit dem GISconnector kann ich die Attributdaten bequem ins Excel exportieren und mit der Excel-Datei eine Verbindung aufbauen. Von diesem Zeitpunkt an kann ich Selektionen, Definition Queries (Definitionsabfragen) und Filter von ArcGIS nach Excel und von Excel nach ArcGIS übertragen. Das gleiche gilt für Änderungen an den Attributwerten, die Anpassung von Attributnamen sowie die Erstellung zusätzlicher Attribute. Gesteuert wird der GISconnector sowohl in ArcMap als auch in Excel über eine Toolbar.

GISconnector-Toolbar in Excel
GISconnector-Toolbar in Excel

Die Übertragung von Selektionen, Daten etc. von einem Programm ins andere braucht jeweils nur einen Klick. Die folgende Abbildung zeigt als einfaches Beispiel eine Feature Klasse der Kantone in ArcMap und die damit verbundene Tabelle der Attribute in Excel. Die in der Karte blau umrandeten Kantone habe ich in ArcMap ausgewählt und die Selektion danach als Filter an Excel übertragen.

ArcMap und Excel, verbunden durch den GISconnector
ArcMap und Excel, verbunden durch den GISconnector

Die Verbindung der beiden Programme eröffnet der ArcGIS-Nutzerin und dem ArcGIS-Nutzer das gesamte Potenzial der Excel-Trickkiste: Von komplexen Formeln über Autofilter und bedingte Formatierung bis zu dynamischen Diagrammen. Von einem solchen Anwendungsbeispiel berichte ich im nächsten Artikel etwas ausführlicher.

Haben wir Ihr Interesse am GISconnector geweckt?

Informieren Sie sich auf der Website des Herstellers über den gesamten Funktionsumfang.

Schauen Sie sich Demo-Videos an, zum Beispiel das folgende mit grundlegenden Funktionen:

 

Beziehen Sie eine kostenlose Testversion.

Kontaktieren Sie uns bei Fragen oder für eine unverbindliche Demonstration per Screensharing.

The Data Worker’s Manifesto

straumann-geobeer8-slide-1

Last week I gave a talk at the 8th instalment of the GeoBeer series on EBP’s Zurich-Stadelhofen premises and sponsored by EBP and Crosswind. It was titled State of the Union: Data as Enabling Tech‽

You can check out the whole slidedeck on my private website (The slides are made with impress.js and best viewed in Chrome. Please ignore my horrible inline CSS..)


straumann-geobeer8-slide-2

I’m quite sure it’s not best practice to give one’s talk an unintelligible title. Nevertheless, that’s what I did, so let me explain what the different parts mean:

I chose „state of the union“ as a fancy way of expressing that I’m directing my talk primarily at fellow geoinformation and data people.

With „data“ we usually refer to raw observations of some phenomenon. We’ll discuss later, how helpful that definition turns out to be.

„Enabling tech“ would usually expand to „technology“ and the term is used to denote a technical development that makes novel applications possible in the first point. However, in the context of this talk it may be worthwhile to keep the 2nd potential meaning of the stub „tech“ – „technique“ – in mind, as well.

Finally, the  is called an interrobang and nicely reflects the semantic ambivalence of combining ? and ! into one punctuation mark.


straumann-geobeer8-slide-3

Sometime in the last decade, we as a society have moved from a situation where data was usually scarce to one where (many forms of) data are abundant. Where before, the first step of analysis was often one of interpolation between valuable data points, we now filter, subsample, and aggregate our data. Not all domains are the same in this respect, obviously. But I think the generalisation pretty much holds, as (often ill-applied) labels such as „big data“ or „humongous data“ indicate. (Well, the latter is obviously a joke; but think about why it works as such.)

Big drivers of this development are a) the Web and its numerous branches and platforms and b) smartphones, tablets, phablets and what have you, or more broadly speaking: embedded sensors, GPS loggers, tracking and fleet management systems, automotive sensors, wearables, ’self-tracking‘ or ‚quantified-self‘ technology, networked hardware such as appliances (think Internet of Things) and the like.

In what follows I’m going to talk primarily on crowdsourced data. (In other contexts, crowdsourced (geographic) data is also called e.g. Volunteered Geographic Information, VGI, (a term fraught with problems), or User-Generated Content, UGC.) But some of the assertions also hold for data in general.


straumann-geobeer8-slide-4

straumann-geobeer8-slide-5

Crowdsourced data, i.e. data that:

– is gathered from many contributors,

– in a decentralised fashion,

– following (at best) informal rules and protocols,

– voluntarily, unknowingly or with incentives,

has some issues.

The large-scale advent of this crowdsourced data of course coincides with the development of the so-called Web 2.0 (in German also referred to as the ‚participation Web‘), where anybody could not just be a consumer, but also (at least, in theory) a producer, or: a produser. Or so we were told.

 

 


straumann-geobeer8-slide-6

But: crowdsourced data is biased

This map shows OpenStreetMap (OSM) node density normalised by inhabitants (compiled by my OII colleagues Stefano de Sabbata and Mark Graham).

Assuming (somewhat simplifying) that the presence of people effects the build-up of infrastructure, in an ideal world this map would feature a uniform colour everywhere. However, there are regions where relative data density in OSM exceeds that of other regions by 3–4 orders of magnitude! Compare this to the density of placenames in the GeoNames Gazetteer!

Clearly, offering an „open platform“ and encouraging participation is not enough to really level the playing field in user-generatation of content. In some regions people might not have the means (spare-time, economic freedom, hardware, software, education, technical skills, access to stable (broadband) Internet, motivation) to participate or they might e.g. have reservations against this kind of project or the organisations behind it.

Spatially heterogeneous density is just one example of bias we find in crowdsourced data. Another one is termed user contribution bias, where a very small proportion of contributors (think Twitter users, Flickr photographers, Facebook posters, …) creates a large proportion of the data. Depending on the platform we see very lopsided distributions with few percent of users being behind a large share of the content. In his Master’s thesis, Timo Grossenbacher found that in his sample of Twitter, 7% of the users created 50% of the tweets. Despite all techno-optimism: clearly, not everyone is a produser and clearly not all contributors create equal amounts of content!


straumann-geobeer8-slide-7

Talking of different kinds of bias: OSM has also been found sexist, for example. OSM contributors (like in many crowdsourcing initiatives) are, as a tendency, young, male, technologically minded, with above average education. Narrow groups of contributors may, inadvertently or consciously, favour their own interests in creating content.

OSM’s „bottom-up data model“ (basically, the community discusses and decides what is mapped how) gives contributors allocative power, i.e. what most people (or the most industrious contributors?) adopt as their practice has good chances to evolve into community (best?) practice.


straumann-geobeer8-slide-8

 


straumann-geobeer8-slide-9

Further, some patterns in crowdsourced data may be very surprising.

One example this talk has already touched upon is user contribution bias, where a small group dominates the crowdsourcing activity. A more complicated example of surprising insights hidden in crowdsourced data is in the figure on the left. Remember that in Wikipedia, the self-declared repository for the sum of all human knowledge it’s well known, that the spatial distribution of geocoded and „geocode-able“ articles is strongly biased. A map I made with my colleagues at the OII shows that a part of Europe features as many Wikipedia articles as the rest of the world. (By the way, there is this interesting Wikipedia page that discusses all kinds of biases that affect Wikipedia.)

Now, as the figure shows, despite this known severe lack of content e.g. in the Middle East and North Africa (MENA), only about a third of edits that are made by contributors in that region are about articles in the same region. Surprisingly, a large proportion of MENA’s (in absolute terms low) editing activity is geared towards contributing to articles outside their own region, about phenomena in North America, Asia and Europe. If you expected, as many people do, that contributors edit mostly about phenomena in their immediate environment and that they tend to „fill in gaps“ in content, this insight comes as a surprise.

Cultural, personal (education, careers, family relations, travel, tourism, …), linguistic, historical, colonial, political, and many more reasons may play into this.


straumann-geobeer8-slide-10

The new abundance of data, the proliferation of open (government) data, APIs and the current popularity of information or data visualisation (infoviz/dataviz) as well as data-driven journalism (DDJ) has led to many more people and institutions obtaining, processing, analysing, visualising and disseminating data.

While this may be welcomed by data-inclined people in general, unfortunately it sometimes leads to people attaching false meaning to data or to interpreting insights into data that are not supported by it.

This example shows geocoded tweets in response to the release of a Beyoncé album. In my opinion, while technologically interesting, the visualisation has severe flaws in terms of (re)presentation, cartography and infoviz best practices. But: even more importantly, it utterly fails to mention e.g., that a) Twitter users are a highly biased, small subgroup of the general population, that b) the proportion of geocoded tweets is estimated to be in the very low percent numbers (often, < 3% is indicated!), that c) user contribution bias is likely at play, that d) geolocation may be faulty, etc. etc.


straumann-geobeer8-slide-11

Finally, this figure shows the result of „ping[ing] all the devices on the internet“ according to John Matherly of Shodan. This figure and story went viral, it appeared e.g. on Gizmodo, The Next Web, IFLScience!, and many more.

Turns out, if you dig a bit deeper, there are some rather important disclaimers: e.g. a very limited window during which the analysis was reportedly carried out and, more importantly, only pinging devices addressed using IPv4, not considering IPv6. You can read about these on this Reddit thread.

Turns out some countries in Asia that have recently invested heavily into broadband Internet infrastructure and also large parts of Africa where the Internet is mainly used on mobile devices, use IPv6 and thus show up as black holes or rather dark regions on this „map of the Internet“.

Sadly, the relative lack of access to Internet, content and netizens in Africa is a truth (cf. the OII Wikipedia analyses mentioned above). However, the situation, at least in terms of connected devices is not as dire as this map makes you believe!

However, I think the very fact that the map played into this common narrative of unconnected, offline regions is an important factor in its massive proliferation (a.k.a. ‚going viral‘). Unfortunately, it seems all this sharing happened without discussions on the data source, data collection method, processing steps, and important disclaimers about the data’s validity and legitimacy – and, let’s face it, very little critical reception and reflection on part of the audience, i.e. us.

The effects? – The original tweet has been retweeted more than 5,500 times! Go figure.


straumann-geobeer8-slide-12

With these examples in mind, let’s turn to the classic Data-Information-Knowledge-Wisdom workflow or pyramid. In the DIKW mindset, data is composed of raw observations. Only structuring, pattern-detection, and asking the right questions turn data into information. Memorised, recalled and applied in a suitable context, information becomes knowledge. And finally, there’s the wisdom stage that is concerned with ‚why‘ rather than ‚what‘, ‚when‘, ‚where‘ and ‚how‘ etc.


straumann-geobeer8-slide-13

Well, turns out, one can argue rather well that ‚raw data‘ does not, in fact, exist.

Data – and I would argue also crowdsourced data – is usually collected with an intent, an application in mind or, if not that, at least with a specific method, from a certain group of people, by a defined group of people, using a certain measuring device. Whether this happens implicitly or explicitly and willingly does not matter in this context. Clearly, however, these factors all potentially affect the applications the data can sensibly be used for.

So, there goes the title of my talk: ‚data‘ may not actually be ‚raw‘. And overly focussing on technology and missing out on the underlying technique can be dangerous!


straumann-geobeer8-slide-14

Putting it bluntly: Unlike this car, data is never general-purpose.

 

 

 

 

 

 


straumann-geobeer8-slide-15

For all these reasons, and because I care about our profession and about what is being done with data in the society at large (think: data-driven churnalism journalism, evidence-based politics, etc.) I would like to propose:

The Data Worker’s Manifesto.

It consists of only few, easily memorised principles:

 


straumann-geobeer8-slide-16

Know your data!

Know the sources of your data, collection methodology, the sample size and composition, consistency, pre-processing steps possibly carried out by others or by yourself, more generally: the lineage, biases, quality issues, limitations, legitimate appliations and use cases. Know all these very well. If you don’t, try to find out. If you can’t be sure, refrain from using the data.


straumann-geobeer8-slide-17

Discuss data and how it’s being used.

The Internet and social media are wonderful things where thousands of links are shared. Ever so often you may see an analysis with un(der)-documented input data or methodology.

Reflect critically what others may share blindly. If you have questions: remember, the Web is a two-way street these days. Gently but firmly ask them and make your sharing of, and investment into, any analysis dependent on the answer.


straumann-geobeer8-slide-18

Create and share metadata!

If you do data-based analyses and produce visualisations, always keep track of what you have done with the data: Did you apply filters? Remove (suspected) outliers? Subsample, downsample, disaggregate, aggregate, combine, split, join, clean, purge, merge, … the data? Document your steps and assumptions and share this metadata to give your collaborators and your audience insight into data provenance and your methodology, along with the results.

If you share your insights in a social media content (e.g. a map as a PNG file), I recommend burning the metadata into the result, i.e. put the metadata somewhere into the content so that it’s hard to remove. Because said content will – at some point – be taken, proliferated, received and analysed out of context. Guaranteed.


straumann-geobeer8-slide-19

3b is very similar to 3: Create and share metadata!

Seriously: I know metadata is uncool and not sexy at all to maintain. But nothing good comes from not doing it!

 

 

 


straumann-geobeer8-slide-20

Experts are valuable.

While the „end of theory“ has been proclaimed, I think the „report of [its] death has been greatly exaggerated“.

Being, or being in contact with, a domain specialist is still very valuable. Sometimes, especially for harder, i.e. more interesting, analyses, it’s indispensible. In the very least, expert knowledge may save you from doing something silly with data you don’t completely understand.


straumann-geobeer8-slide-21

We’re in this together.

I feel we are all still coming to terms with the new opportunities the Web and some of the data-related developments I mentioned provide to us (let alone methodological and computational improvements and societal developments). It can be a bumpy, but in any case an exciting, ride, so let’s buckle up, meet and talk and share our experiences – but that’s obviously why all of you have come to this GeoBeer in the first place!


straumann-geobeer8-slide-22

straumann-geobeer8-slide-23

I feel that despite all these potential pitfalls we should perceive the abundant data, especially new data types such as crowdsourced and open government data, as huge opportunities!

I’m convinced that, with the right people and the right mindset, we can do great things, privately or politically, that have the potential to improve our respective environments ever so slightly.

I feel that Switzerland as a democratic and affluent country provides us with an especially friendly environment to get involved, in business, in research, and in societal goals.

Thank you all for your attention!

 

 

 

 

Story Maps for Switzerland

What Story Maps are and why simplicity matters I have already explained in my previous blogpost „Storytelling with maps „. Now it’s about designing good Story Maps with the Esri framework and data provided by the Swiss Geoportal geo.admin.ch. My Story Map „Bat watching in Zurich“, the main example used in this blogpost, has been chosen as a runner up in the Esri storytelling with Maps contest 2014.

Connect with the Swiss audience

Esri publish their Story Map basemaps in the (Pseudo) WGS84 projection and the style of the maps is very different from what the Swiss population is used to seeing when they look at a map. Especially in the area of planning, people in Switzerland are used being presented with plans based on the acclaimed maps from Swisstopo, in the Swiss projection system. Thus, when for example a rebuilding proposal or an infrastructure project is presented to them using the ArcGIS Online basemaps (or Google’s, by the way), it might be harder for them to connect with the topic at hand. Certainly, despite their abundance Esri (and Google) basemaps fail to convey the same sense of authoritative (official) mapping by e.g. a federal department or office.

Planning area in ArcGIS Online:

And with an official Swisstopo map as a backdrop:

As part of their base data and API strategy, the geoadmin portal offers Swisstopo maps as a WMTS services you can use in your Story Map described here. However, since the process is not very intuitive, I’ll explain it how to use them with the ArcGIS Online map editor:

Once you’ve placed your data on the map in the ArcGIS Online Editor according to the standard Story Map production workflow, Esri cannot reproject it with a proper transformation anymore, so you need to make sure that your basemap is in the Swiss projection system (CH 1903 LV03, EPSG:21781, also known as Swissgrid) before you add data to it. Very recently, Esri has licensed the WMTS services of geoadmin, which means that from now on you can add the geoadmin WMTS services straight forward to the ArcGIS Online map editor:

  1. Define a new basemap by clicking on “Add Layer from Web”
  2. Define the Url https://wmts.geo.admin.ch and make sure that you are using the https url, otherwise the map imagery might be hidden (dependent on your browser and if you are logged in or not)
  3. Choose your layer: Karte SW (black and white basemap), Karte farbig (coloured basemap) and  SWISSIMAGE (satellite imagery) are the obvious options, but there is other useful stuff, like SwissALTI3D Reliefschattierung and Karte swissTLM which I quite like. The layers are documented here.
  4. Tick the checkbox “Use as basemap” so the Swiss projection system will be used, and click on “Add Layer”

Now you have a map with the Swiss projection system, and can start creating features on top of a Swiss basemap with the standard map editor workflow.

Design Simple Swiss maps

Esri’s statement about Story Maps is, that basemaps should provide context, and not be a competition, what I completely agree with. Satellite imagery looks great, I can spend hours looking at it, but for your Story Map the details lure the users away from your content. ArcGIS Online is providing a very nice background map “Light Gray Canvas”, a simple gray backdrop which can be used nicely for promoting your information and make your content more important. With the geoadmin WMTS you can get into a similar direction. I quite like to use the black and white background map, and put the layers with the information on top, which I find useful for the topic I want to communicate. The geoadmin WMTS provides layers like water or forest as separate layers, so just add them to the map with a transparency. geoadmin WMTS “Karte farbig” providing a coloured map created by Swisstopo:

And now – less distracting – geoadmin WMTS “Karte SW” from Swisstopo with forests (“REN Wald”) and waterways/lakes (“REN Fliessgewässer/Seen”) – the habitat of bats – as half transparent layers on top:

The Story Map showing bats recorded in Zurich – the background map – as only in black and white – is not distracting the user, and the heatmap with the bat records is displayed very clearly on top:

The geoadmin WMTS and WMS Services offer quite a good choice of layers you can use as a backdrop to your data, just have a look.

If you have got any further questions about using geoadmin data with the Esri ArcGIS Online and Esri Story Maps, please do not hesitate to contact me. I am happy to help, and am as well curious about your ideas how to design Story Maps.

 

Geschichten erzählen mit Karten

Vor einigen Wochen hat ein Team von Ernst Basler + Partner am Schweizer GeoSummit in Bern teilgenommen. Unter anderem haben wir dabei zusammen mit David Oesch von der Swisstopo einen Vortrag über sogenannte Story Maps gehalten.

Was sind diese Story Maps?

Story Maps sind einfachste Webapps, welche intelligente Webkarten mit Text, Fotos und anderen Multimedia-Inhalten kombinieren um eine Geschichte zu erzählen bzw. Inhalte zu vermitteln (Definition von Lindemann). Verglichen mit klassischen Kartenportalen im Internet sind Story Maps viel einfacher sowie intuitiv und ohne Vorwissen über Karten oder gar GIS zu nutzen. Mit den Story Map-Vorlagen von Esri ist denn auch die Erstellung solcher Karten nicht sonderlich schwierig.

„Simplicity is the ultimate sophistication“

Ob dieser Satz nun von William Gaddis, Steve Jobs oder Leonardo da Vinci stammt: er stimmt auf jeden Fall für Story Maps. Generell machen gemäss Lindemann folgende Kriterien eine gute Story Map aus:

  • Einfachheit
  • direkte Ansprache des Publikums
  • wirkt anziehend auf die Nutzerin, den Nutzer
  • die User-Experience unterstütz die vermittelte Geschichte
  • gute Kartographie und gutes Webdesign

Anders herum gedacht können Sie sich auch die sehr interessante und unterhaltsame Serie Why Map Portals Don’t Work von Brian Timoney anschauen: quasi eine Definition von Story Maps ex negativo.

Story Maps für die öffentliche Kommunikation

Über die letzten Jahre haben sich verschiedene Anbieter von Story Map-Technologie und -Vorlagen etabliert. Zwei davon, nämlich das Schweizerische Bundesgeodatenportal und Esri haben wir in unserem Vortrag vertieft behandelt. Als Ingenieur- und Beratungsfirma waren wir in unserem Beispiel sehr daran interessiert, wie Story Maps eingesetzt werden können, um die Öffentlichkeit über zum Beispiel ein grosses Infrastrukturvorhaben zu informieren und so die politische Partizipation zu unterstützen.

Sie können sich unsere Vortragsfolien auf Slideshare anschauen oder herunterladen oder sich diese gleich hier zu Gemüte führen:

Bei Fragen zu Story Maps können Sie uns gerne kontaktieren: Nicole Sulzberger oder Ralph Straumann.


Jeremiah Lindemann: StoryMaps — Using ArcGIS as a Communications Medium. Esri User Conference 2013, Technical Session

Storytelling with maps

A few weeks ago a team of Ernst Basler + Partners have attended the Swiss GeoSummit. Among others we have given a presentation on Story Maps in collaboration with Swisstopo’s (the Swiss national mapping agency) David Oesch.

What are Story Maps?

Story Maps are simple web apps that combine intelligent web maps with text, photos, and other multimedia content in order to tell location-based stories (definition by Lindemann). Compared to map portals, Story Maps are simpler, straightforward to understand and can be used without any prior technical knowledge about maps and – god forbid – GIS. And using Story Map templates from Esri they are actually not that complicated to build either.

Simplicity is the ultimate sophistication

Whether you attribute above adage to William Gaddis, Steve Jobs or Leonardo da Vinci: it’s certainly true for Story Maps. Overall, the following criteria make for a good Story Map according to Lindemann:

  • simplicity
  • connects with its audience
  • draws users in
  • the user experience supports the story
  • good cartographic and web design

Alternatively, you can read the very insightful and entertaining Why Map Portals Don’t Work series by Brian Timoney to get a Story Maps definition ex negativo.

Story Maps for public communication

Over the recent years, various providers of Story Map technology and templates have sprung up. Two of which, namely Swisstopo and Esri, are highlighted in our talk. As an engineering and consulting company, in our example we were especially interested how Story Maps can be used to foster information of the public and political participation in the planning or proposal stages of e.g. infrastructure projects.

You can view and download our presentation slides (unfortunately in German) from SlideShare, or just check them out here below:

Please contact me or my colleague Ralph Straumann with any enquiries regarding your potential Story Map project.


Jeremiah Lindemann: StoryMaps — Using ArcGIS as a Communications Medium. Esri User Conference 2013, Technical Session