Modernes Wissensmanagement

In unserer scheinbar immer schnelleren Wissensgesellschaft wird die Aufnahme von Information, Lernen und das Umsetzen von Wissen immer wichtiger. Zu diesem Thema lese ich manchmal Beiträge über die Personal Knowledge Mastery (PKM)-Konzepte von Harold Jarche. In diesem Blogpost möchte ich kurz auf Wissensmanagement generell und als Beispiel auf das PKM-Konzept eingehen.

Wieso Wissensmanagement?

Wissensmanagement bezeichnet die positive Beeinflussung der Wissensbasis einer Person oder einer Organisation. Im Fall einer Person spricht man auch vom „persönlichen Wissensmanagement“, im zweiten Fall vom „organisatorischen Wissensmanagement“.

Wissen soll nicht in Karteikästchen verschwinden

Wissen ist zunehmend ein wichtiger Produktionsfaktor. Das organisatorische Wissensmanagement kümmert sich deshalb darum, das individuelle Wissen, das in einer Firma, Behörde, Verwaltung oder Verein bei den einzelnen Personen vorhanden ist, nachhaltig in der Organisation zu verankern. Dabei wird oft zwischen explizitem und implizitem Wissen unterschieden – die unterschiedlich angegangen werden müssen:

  • Explizites Wissen ist niedergeschrieben bzw. kann niedergeschrieben werden, beispielsweise in Handbüchern oder Handlungsanweisungen. Hier muss Wissensmanagement geeignete Prozesse und Verantwortlichkeiten definieren und Gefässe finden für das Festhalten von Wissen (people-to-document), um so zum Beispiel Gatekeeping (dass eine Information nur bei einer Person vorhanden ist und diese bei Bedarf stets danach gefragt werden muss) möglichst zu minimieren.
  • Implizites Wissen ist Wissen, das nicht (richtig) verbal vermittelt werden kann (auch: tacit knowledge, also stilles Wissen). Gute Beispiele sind das Wissen, wie man velofährt oder wie man Schuhe schnürt. Die Methoden für explizites Wissen können bei implizitem Wissen nicht greifen. Hier geht es stattdessen häufig darum, die richtigen Massnahmen zu finden, um zwischenmenschliche Lernprozesse zu fördern (people-to-people).

Grundlegender Baustein: Persönliches Wissensmanagement

Das persönliche Wissensmanagement steht unterhalb der systemischen Sicht der Organisation. Es ist aber natürlich notwendige Voraussetzung für gelungenes organisatorisches Wissensmanagement. Besonders klar wird dies gerade anhand des bereits erwähnten PKM-Konzepts von Harold Jarche. Er definiert PKM als „a set of processes (…) to help each of us make sense of our world and work more effectively.“

Ein wichtiger Baustein dieses Konzepts ist das Framework Seek > Sense > Share:

Seeking is finding things out and keeping up to date. Building a network of colleagues is helpful in this regard. It not only allows us to “pull” information, but also have it “pushed” to us by trusted sources. Good curators are valued members of knowledge networks.

Sensing is how we personalize information and use it. Sensing includes reflection and putting into practice what we have learned. Often it requires experimentation, as we learn best by doing.

Sharing includes exchanging resources, ideas, and experiences with our networks as well as collaborating with our colleagues.

Betrachten wir persönliches Wissensmanagement durch diese Brille, ist es keine rein individuelle Aufgabe: Für Seeking benötigen wir gute soziale Netzwerke (reale und virtuelle) – also Netzwerke, die beim Lernen für Aufgaben unterstützen. Aus einem gut kuratierten Netzwerk kann eine Person wertvolle Informationen selber extrahieren (Pull-Prinzip) aber auch erhalten, etwa wenn ein Partner im Netzwerk die Person auf etwas aufmerksam macht, das für diese relevant ist (Push-Prinzip). Gutes persönliches Wissensmanagement braucht also gute soziale Vernetzung.

Sensing umfasst die Verinnerlichung, Reflexion und Anwendung von neu erschlossenem Wissen. Dieser Prozess benötigt Zeit, Freiräume und Gelegenheiten, das Wissen anzuwenden. Auch Sensing kann neben der individuellen Ebene eine soziale Dimension haben: Reflexion und Beüben neu erworbenen Wissens können zum Beispiel im Team geschehen.

Sharing bezeichnet die Weitergabe und den Austausch von Ressourcen rund um Wissen und bildet den Abschluss des Frameworks. Auch beim Sharing ist die Einbettung des Wissensmanagements und des Lernens in soziale Strukturen wieder wichtig. Hier wird Wissen im Austausch mit anderen gefestigt, und man lernt neue Sichtweisen, Ideen und Ressourcen kennen.

Hin zur intelligenten Organisation

Gemäss Harold Jarche sind die Schritte Seeking, Sensing und Sharing besonders in innovativen interdisziplinären Settings (wie zum Beispiel EBP eines ist) besonders wichtig:

The multiple pieces of information that we capture and share can increase the frequency of serendipitous connections, especially across organizations and disciplines where real innovation happens.

Aus diesen Betrachtungen lassen sich zum Beispiel entlang der folgenden Fragen Handlungsempfehlungen für intelligente Organisationen oder solche, die es werden wollen, erarbeiten (hier mit einem technischen Fokus):

  • Wie kann eine Organisation das organisatorische und das persönliche Wissensmanagement gewinnbringend miteinander verknüpfen? Wie kann eine Organisation das persönliche Wissensmanagement der Mitarbeiterinnen und Mitarbeiter fördern und so die Grundvoraussetzungen für ein effizientes und effektives Organisations-Wissensmanagement legen?
  • Welche Tools gibt es, die beim organisatorischen und persönlichen Wissensmanagement (z.B. mit dem Modell Seeking, Sensing, Sharing) unterstützen können? Wäre zum Beispiel Slack für meine Organisation gut geeignet? Weshalb nicht bzw. weshalb? Für welche Anwendungen, Informationen und Rollen in der Organisation?
  • Wie setze ich diese Tools passend zum jeweiligen Wissen und Kontext ein? Welches Wissen kann ich Zeitschriften, Fachtagungen oder Expertengesprächen entnehmen? Welche anderen Kanäle sind für meine Organisation, meine Aufgabe, mein Fachgebiet relevant?
  • Welches Wissen und welche Erfahrungen teile ich beispielsweise in einem Enterprise Social Network wie Yammer? Worüber schreibe ich einen Artikel in der internen Zeitschrift oder im internen Wiki? Was teile ich mit einer Fachgruppe auf LinkedIn, Xing oder einem anderen virtuellen sozialen Netzwerk? Worüber spreche ich mit Kolleginnen und Kollegen im Rahmen eines Erfahrungsaustauschs?

Allesamt spannende Fragen, die sich in unserer Zeit alle Organisation stellen sollten. Falls Sie sich für diese Themen interessieren, unterstützen wir Sie gerne.

e-geo-Interview mit Ralph Straumann: «Data Literacy ist eine grosse Herausforderung»

Mit dem letzten Newsletter schloss das Impulsprogramm e-geo.ch Anfang November 2016 seine Tätigkeiten ab. Ralph Straumann, Projektleiter in unserem Tätigkeitsfeld Systemberatung + Analytik wurde in diesem letzten, dem 28. Newsletter von e-geo.ch neben anderen GIS-Exponentinnen und -Exponenten interviewt. Das Interview dreht sich rund um unsere innovativen Themen: Data Science, die Zukunft von GIS und die digitale Transformation.

e-geo.ch und die NGDI. Bildquelle: e-geo.ch
e-geo.ch und die NGDI. Bildquelle: e-geo.ch

Personen in der Geoinformationsbranche ist e-geo.ch ein Begriff. Für alle anderen paraphrasiere ich aus der Newsletter-Einleitung von Christian Kaul: e-geo.ch war seit 2003 das Programm zur Förderung des Aufbaus einer Nationalen Geodaten-Infrastruktur (NGDI). Die Trägerorganisationen von e-geo.ch waren der Bund, die Kantone und die SOGI. Mit der neuen Geoinformationsgesetzgebung auf Stufe Bund (GeoIG) wurde 2008 ein grosser Meilenstein erreicht. Ab 2011 rückten dann Umsetzungsfragen zwischen Bund und Kantonen in den Fokus. Im Austausch zwischen den Trägerorganisationen zeigte sich dann ab Januar 2015, dass e-geo.ch zwar viel erreicht hat aber für die Umsetzung ein neuer Rahmen gesucht werden soll.

Der letzte e-geo-Newsletter bietet einen Rückblick in die „Pionierzeit“ und auf verschiedene Highlights des Impulsprogramms. Er zeigt aber auch aktuelle Herausforderungen der Geoinformation und fragt: Was kommt danach? Verschiedene Fachleute geben ihre Einschätzungen ab zu spannenden Visionen und Trends der Branche. Der Text aus dem Interview mit Ralph Straumann:

«Data Literacy ist eine grosse Herausforderung»

Das BAKOM nennt in einer Studie vier grosse Trends, die auch für die Geoinformation relevant sind, nämlich Information, Cloud, Mobile und Social. Wir alle produzieren immer mehr Daten, schon allein, weil wir mit dem Smartphone herumlaufen. Wir nutzen aber auch immer mehr Informationen in der einen oder anderen Form. Das wird ermöglicht durch die Cloud und ihre skalierbare Rechnerleistung. «Mobile» ist ein Trend, weil immer mehr Internetnutzung über das Handy läuft, und «Social» steht für die Netzwerke, wo man sich miteinander austauscht. Diese vier Trends gelten natürlich nicht nur für GIS, aber an ihnen kann man recht viel fest machen, was im Moment passiert.

Niederschwelligere Angebote

Weiter stelle ich fest, dass unser Feld sich öffnet. Es gibt neue Werkzeuge, die das Arbeiten mit Geodaten viel weniger exklusiv machen. Früher hatte man die grossen, teuren GIS-Systeme. Dazu gibt es heute Alternativen, kommerzielle und freie. Diese Entwicklung wird unter anderem vorangetrieben durch den Datenjournalismus, der in den letzten Jahren aufgekommen ist und auch häufig mit Karten zu tun hat. Aus dieser Richtung kommen viele neue Herangehensweisen von Leuten, die nicht so in den Paradigmen drin sind wie wir GIS-Leute. Das finde ich spannend, und das meine ich, wenn ich von «Mainstreaming» und «Consumerisation» spreche.

Geomorphometrie: Valleyness im Tessin (Straumann, 2010)

Komplexe Datenwissenschaft

Als Trend sehe ich auch die «Data Science», die Datenwissenschaft, die seit ein paar Jahren immer mehr in den Vordergrund tritt und in der wir bei EBP auch aktiv sind. Das Ziel der «Data Science» ist, mit den umfangreich anfallenden Daten Prozesse und Strukturen zu optimieren. Ein klassisches Beispiel ist Amazon: Wenn ich dort Bücher bestellt habe, sagt mir Amazon, welche Bücher mir auch noch gefallen könnten. Dieses Empfehlungssystem ist eine einfache Anwendung, aber es gibt auch noch andere Beispiele, wo das viel weiter getrieben wird, auch im Zusammenhang mit Geodaten.

Trajektorien in Zürich von lokalen und auswärtigen Flickr-Nutzerinnen und -Nutzern (Straumann, Çöltekin & Andrienko, 2014)
Trajektorien in Zürich von lokalen und auswärtigen Flickr-Nutzerinnen und -Nutzern (Straumann, Çöltekin & Andrienko, 2014)

Weniger einfache Tätigkeiten

Diese Trends haben für unsere Branche natürlich Konsequenzen, indem einfache GIS-Arbeiten in Zukunft vielleicht weniger gefragt sein werden. Vor fünf Jahren konnte es durchaus sein, dass ein Kunde zu uns kam mit einer Datenbank, in der die Adressen seiner Kunden hinterlegt waren und die er auf einer Karte sehen wollte. Solche einfachen Auswertungen kann es zwar immer noch geben, aber die Funktionalität dafür ist je länger je mehr in gängigen Desktop-Programmen eingebaut, so dass die Leute das selber machen können.

Aber die Kundenstandorte nicht nur zu kartieren sondern zu analysieren, zum Beispiel bezüglich der Frage, wo ein neuer Standort eröffnet werden soll und wie sich dieser auf das Betriebsergebnis oder die Versorgung auswirkt – das sind nach wie vor spannende Fragestellungen, die wir mit «Location Intelligence» beantworten können.

Es ergeben sich aber gerade noch weitere neue Fragen: Wir beraten unsere Kunden zum Beispiel zu den aktuellen Entwicklungen rund um das Internet of Things, Bots, Echtzeitdaten und Smart Cities bzw. Smart Infrastructure. Für diese Themen braucht es Fachwissen und spezielle Kompetenzen.

«Data Literacy» als Bürger(innen)pflicht

Ein besonderes Anliegen ist mir persönlich die «Data Literacy», das heisst die Befähigung von Nicht-Fachleuten, Daten und darauf aufbauende Analysen richtig «lesen» und interpretieren zu können – ganz besonders, wenn auf dieser Grundlage geschäftliche oder politische Entscheidungen getroffen werden. In unserer direkten Demokratie stimmen wir zudem über Fragen ab, die immer öfter ein gewisses Verständnis für Datenanalyse voraus setzen. Wir als Gesellschaft müssen also lernen, diese Dinge zu verstehen, damit umzugehen und manches auch kritisch zu hinterfragen.

Sie können das im e-geo-Newsletter erschienene Interview mit Ralph Straumann hier als PDF beziehen oder hier die gesamte Publikation herunterladen.

Vielen Dank an Swisstopo und Claudia Fahlbusch von escribo für die Erlaubnis zur Publikation dieses Texts auf unserem Blog.

Patrouilles des Glaciers: Track Replay

Comparing Positions with Time Lag

As blogged earlier I spent a week at the race office of the Patrouille des Glaciers (PdG). During the race, each PdG team of three athletes was equipped with a GPS device that kept broadcasting its position to the race office. Furthermore this device was equipped with an emergency button able to send a distress message along with its current position to the race office.

We wanted to know whether this security feature could be used for replaying the tracks of the individual teams. Replaying race tracks becomes interesting when you can compare teams. A team might ask: Where did we lose or win with regard to our peers? The start of the PdG, however, was staggered, i.e., there are several starts with a time lag between the starts of half an hour to an hour. Thus, comparing teams that competed in different time slots necessitates that we include a time shift compensation.

Data Quality

Initially, we analyzed the data from the first race (Tuesday/Wednesday). The teams follow a well signaled track (red line in figure below). As you can see the team positions reveal some astonishing errors. We suppose these positional errors are due to limited „visibility“ of GPS satellites in the mountaineous terrain as well as multipath GPS signals that introduce an error in time-of-flight measurement.

ZermattTeteBlanche
Positional accuracy on the leg Zermatt – Tête Blanche (positions of 10 teams in different colors, following the red line)

The GPS device is supposed to send its position every 2 minutes. However, this was clearly not always the case: In the example below we observed a gap of 40 minutes between positions – visible in below map where the points are located far apart.

Verbier
Lacking data on the leg Pas du Chat – Verbier (positions of one team)

Data Preparation for Track Replay

For displaying race tracks, we decided to show only points that are within a buffer of 1,000 meters rather than projecting the points onto the track from a too great distance and hence pretending a better accuracy.

GPS cannot measure elevation as precisely as position. Therefore we substituted the GPS elevations by elevations from a terrain model.

We did not interpolate intermediate points where there are time gaps. Therefore, not all the teams will move smoothly.

Track Replay Application

At EBP we then developed a proof-of-concept application Track Replay for replaying the 2016 PdG tracks. In real-time mode you can replay the Tuesday/Wednesday race the way it took place, i.e. including offset race starts for different teams. In compare mode all teams start at the same time in Zermatt and Arolla, respectively. In this mode, you can compare selected teams by ticking their respective check boxes on the left. Putting the cursor on a dot on the elevation profile identifies the team and highlights its position on the map.

The team list on the left is ordered by (current) rank. In theory, at the end of the replay the list order should correspond to the official ranking list Z1 and A1 of race result. However, this is not quite the case because our ranking is based on the distance on the track at a given time and the distance is derived from the GPS position projected onto the track. Since the quality of these positions is often questionable, the projected positions are also affected.

PoC TrackReplay
Track Replay proof of concept by EBP.

Thus, our proof of concept shows the idea of a track replay supporting a comparative mode. However, the capture of the positions with the tracking devices used in PdG 2016 is not yet quite suitable for this application. The great news is: An exciting and promising technology by race result that combines timing and tracking using active transponders will be available soon!

Please note that Track Replay is in the prototype phase. For best results (e.g., in order to display the dots on the elevation profile) we recommend to use the Firefox web browser. Track Replay will be online for a couple of days only. For more details concerning the Patrouille des Glaciers please have a look at the official PdG web site.

Are you interested in getting to know more? Feel free to contact me.

Rückblick auf den GEOSummit 2016

Wir von EBP Informatik waren an der wichtigsten Schweizer GIS-Konferenz, dem GEOSummit 2016, zu Gast. Wir haben als Esri-Partner unsere Lösungen, Projekte und neusten Entwicklungen rund ums Thema Fussgängermobilität interessierten Besucherinnen und Besuchern präsentiert. Zudem haben Stephan Heuel und ich je einen Vortrag in der Session Innovation und Trends I gehalten. Hier möchten wir auf den GEOSummit 2016 zurückblicken, in Form einer reich bebilderten Twitter-basierten Review. Hier können Sie die Story auch in einem eigenen Fenster durchscrollen. Viel Spass!

Time Keeping at the Patrouille des Glaciers – A Look behind the Scenes

The Patrouille des Glaciers (PdG) is an international ski mountaineering race organised by the Swiss Armed Forces in which military and civilian teams compete. It is said to be the world’s toughest team competition. The very long race distance, the extreme route profile, the high altitude and the difficult alpine terrain with glaciers and couloir climbs are the main features of this unique competition.

As announced in November 2015 Ernst Basler + Partner is teaming with race result Swiss for time keeping this remarkable event. Let me give you a brief impression of what was going on behind the scenes regarding time keeping under the guidance of Hanno Maier, race result Swiss.

Sunday April 17 2016

The start lists are published. And all preparations for the race are completed:

  • The time keeping hardware for the teams (personalized start numbers for chest, thigh and helmet and active transponders for more than 5’000 competitors) is configured, packed and ready to be used.
  • The active decoding systems from race result are checked. The timepieces and the corresponding supports are packed in the race result van.
  • The very warm and ultra-thin outfits for the time keepers are branded with race result.
Our team: The time keepers and the three staff members of the race office.

Monday April 18 2016

The time keepers arrive at the race office at the casern in Sion. We distribute the decoding systems and the outfits. They receive their last instructions. They pack their mountaineering and climbing equipment together with the time keeping hardware heading off to the air base. They are supposed to be flown to their posts. However, the weather is not good enough for flying – waiting begins.

MatPosts
The time keepers get ready with their equipment.

In the meantime there are many mutations in the start list to be made, e.g., shifts in start time, replacements in teams. This job kept us busy until short before the start. (No problem for race result software!)

Back stage time keeping in the race office

Tuesday and Wednesday April 19/20 2016 – a looong double day

The weather cleared up. The time keepers and their equipment are flown into the Valais Alps. For us at the race office the crucial phase begins. Do we get signals from all the fourteen decoding systems? Great relief – the first station is online. We monitor its status and have the detection tested. At 12 AM half of the stations are operational. Two of them needed some extra care because of low transmission power. (Fortunately we could get a helicopter flight in time for flying in additional hardware!)  At 5 PM the time keeping network is complete and operational, milestone achieved.

Now we are waiting for the first start which is scheduled for Tuesday 10 PM: race result at the start of the 2016 PdG. Finally, 332 patrouilles crossed the starting line in Zermatt and another 389 in Arolla in several lots until 6 AM the next day.

Everything goes well. The first patrouilles reach Schönbiel, our first time post. The monitoring of the patrouilles goes on all night. So far so good.

The rankings are available live. At Wednesday 08:22:25 AM the first patrouille from Zermatt crosses the finish line in Verbier. At 1 PM we communicate the winners to the race committee. Around 4 PM the last patrouille (that made it to the finishing line) arrives in Verbier. We publish the final ranking list immediately afterwards top up-to-date. The interest in the results is quite remarkable: The page of the rankings has already 600’000 hits – and the race did just end.

Now, we are tired but very happy that the time keeping went perfectly well, without any noteworthy incidents. The race officer in charge congratulates us – everybody is happy! We mastered a technical, logistical and communicational challenge – the time keeping at the PdG. A big thank you to the team on the time posts and in the race office!

The second race is scheduled for Thursday April 22. The results will be available live.

Are you interested in getting to know more? Feel free to contact me.

LoRaWAN: IoT Network for the Future?

If you follow someone from #TeamEBP on Twitter, you may have noticed that last week we installed a LoRaWAN gateway of The Things Network in our office building. And like some of my colleagues you may have wondered (or wonder now): What is this all about?

Is EBP now into selling parrots (of course we could call our parrot Polly, not Lora)? Or are we supporting an alternative Zurich radio station? Good guesses. But it is of course neither of those two: LoRaWAN stands for Long Range Wide Area Network, a technology for low power wireless telecommunication networks. LoRaWAN gateways are intended to be used by battery operated sensors and other low power devices, nowadays better known as the Internet of Things (IoT), to transfer their data to the internet.

While mobile and WiFi networks drain your mobile phone battery quickly with increasing data transfer rates, LoRa takes the opposite approach. Only very little data can be sent over the network to minimize power consumption. Take for example the optimizing of garbage collection by installing sensors on waste bins, a solution that is already more widespread than I expected. You would certainly use batteries, maybe combined with energy harvesting, rather than connect every garbage container throughout a city to the power grid.

450px-HVogel-FrauHolle

Have you ever noticed the amazing anticipation of IoT ideas in „Frau Holle„? Bread calling out: „Oh, take me out. Take me out, or I’ll burn. I’ve been thoroughly baked for a long time.“ (Image source: Public domain).

LoRaWAN Gateways serve as transparent bridges for the end-to-end encrypted communication between sensors and devices out in the field and central network servers (you can read more about the technology here). One big advantage of LoRa is that you only need a few of these gateways to cover a whole city.

While commercial companies are working on LoRa networks (e.g. Swisscom or Digimondo), the afore-mentioned The Things Network (that now EBP is a part of) is an interesting open initiative. With The Things Network, an enthusiastic community is building LoRa networks in cities all around the world. These networks are free and open to use for everybody. At EBP, we immediately felt favourably towards that idea and are excited to share some of our company’s bandwidth with the community behind The Things Network.

The Things Network Zurich coverage map with the EBP gateway
The Things Network Zurich coverage map with the EBP gateway

As an additional benefit, we thus expand our playground to experiment with IoT and new networking technologies. Our order for additional hardware to build some LoRa test devices is out and we are looking forward to do some soldering. So stay tuned for more LoRa news here. Or indeed, join the revolution yourself!

R: Auch etwas für Sie?

R bei EBP

CC-BY-SA The R Foundation
CC-BY-SA The R Foundation

In diesem Blog haben wir schon verschiedentlich (teilweise) mit R erarbeitete Analysen und Visualisierungen gezeigt: etwa meine dreiteilige Serie über die Analyse von Velozähldaten mit R und Bence Tasnádys und Nadine Riesers unterhaltsamer dreiteiliger Bericht über die Eulertour mit dem Tram durch Zürich.

Bei EBP setzen wir R sehr vielfältig ein:

  • für die Bereinigung und Umformung von Daten,
  • für deskriptive und inferentielle Analysen und
  • für agentenbasierte Modellierung beispielsweise im Bereich von Energiepreisen und noch für einiges mehr.

Vor einigen Wochen habe ich R zum Beispiel genutzt, um Gemeinden basierend auf circa einem dutzend Attributen zu clustern. Mit dem berechneten Ähnlichkeitsmass zwischen Gemeinden konnte dann auf einfache Weise eine Vorschlagsfunktion ähnlich wie bei Amazon gebaut werden. Also in der Art: „Sie interessieren sich für Gossau. Möchten Sie vielleicht Gossau mit Flawil, Uzwil, Wil, Herisau oder Rorschach vergleichen?“

Wofür R?

Wieso finde ich also R interessant und wieso nutze ich neben Python, SQL, ETL-Tools u.a. eben auch die Programmiersprache und die Software R? Hier ist meine Liste von Punkten. Für andere Leute können natürlich andere Vor- oder Nachteile ausschlaggebend sein (basically: YMMV):

  • Ähnlich wie Python verfügt R mit dem Comprehensive R Archive Network (CRAN) über eine sehr grosse Menge von Libraries, welche diverse Funktionen abdecken, die in „Base R“ nicht oder nicht in dieser Güte abgedeckt sind. Zum Beispiel: Webscraping, Netzwerkmodellierung, explorative Datenanalyse, statische und interaktive Visualisierung, Verarbeitung von Geodaten, Datentransformationen etc. Was ich bei R manchmal als Nachteil empfinde (gerade gegenüber Python): es gibt nicht immer einen offensichtlich(st)en Weg, etwas zu tun. Die Fülle von Libraries ist eine Ursache hiervon.
  • R kann diverse Datenformate lesen (und viele auch schreiben), auch Geodaten. Der Zugriff auf diverse Datenbanken, NetCDF-Files, tabellarische Daten (Excel, CSV, TSV, etc.), XML-Dateien oder JSON-Dateien ist ohne weiteres möglich.
  • Datentransformationen sind eine Stärke von R: Ob Sie Daten umklassieren, säubern, Werte ersetzen, filtern, subsetten, bestichproben, gruppieren, aggregieren oder transponieren wollen – mit den mächtigen Datentransformationsfunktionen von zum Beispiel dplyr oder auch Base R ist fast alles möglich.
  • einfache Berechnung beschreibender (deskriptiver) Statistiken wie Mittelwert, Median, Standardabweichung, Schiefe einer Verteilung, und vieles mehr, auch auf facettierten Daten
  • Machine Learning-Techniken wie Regressionsanalyse, Klassifikationsanalysen, Clustering, multi-dimensional scaling (MDS-Analyse), u.v.m.
  • diverse Möglichkeiten, aus Daten gängige Visualisierungen abzuleiten wie zum Beispiel Balkendiagramme, Liniendiagramme, Scatterplots, zum Beispiel mit der vermutlich beliebtesten Library für Visualisierungen, ggplot2. Aber auch Karten, zum Beispiel mit ggmap, und interaktive Visualisierungen, mit ggvis und shiny.
  • Mit R kann man aber auch spezialisiertere Visualisierungen erstellen wie Starplots/Spiderplots, Boxplots, Violin Plots, Small Multiples oder Heatmaps.

Wieso R?

Wichtiger noch als diese Funktionen sind aus meiner Sicht aber Vorteile auf einer übergeordneten Ebene. Gerade für Datenaufbereitung, Datenanalyse und Datenvisualisierung geniesst R meiner Meinung nach einen gewichtigen Vorteil gegenüber anderen sehr viel häufiger genutzten Werkzeugen wie Tabellenkalkulationssoftware (Excel, Libre Office, etc.): In R sind alle Verarbeitungsschritte – vom Laden der Daten über allfällige Joins, Transformationen und Aggregationen, Pivot-Tabellen, Umklassierungen, Filterungen, Analyseschritte etc. bis hin zur Erstellung von Grafiken – geskriptet (in der Sprache R).

Die Vorteile dieser Vorgehensweise verglichen mit dem Arbeiten in Excel (auf die Art, wie die meisten Leute mit Excel arbeiten) sind:

  • Transparenz: Ich kann alle Verarbeitungssschritte, welche zu einem Resultat geführt haben, in Form eines Skripts abspeichern. Ich und andere können auch sehr viel später zum Beispiel noch nachlesen, welche Transformationen auf die Daten angewendet worden sind. Zusätzlich zum Quellcode kann ich die Transparenz mit erläuternden Kommentaren unterstützen. Ich kann auch eine Versionskontrolle etwa mit GitHub durchführen – da das Skript eine Textdatei ist.
  • Reduzierte Fehleranfälligkeit: Da Verarbeitungsschritte geskriptet sind und in der Regel nicht von Tastatur- oder Mauseingaben zur „Laufzeit“ der Analyse abhängig sind, reduziert sich meiner Meinung nach im Allgemeinen die Fehleranfälligkeit. Natürlich können sich auch in einem Skript noch Fehler einschleichen, aber zum Beispiel die doch ab und zu beobachteten (und von Excel gut versteckten) fehlerhaften Bezüge in umfangreichen Excel-Dateien gibt es in R zum Beispiel nicht. (Falsche Bezüge in Excel können einen ja bekanntermassen bei wirtschaftlich sehr wichtigen Entscheiden aufs Glatteis führen.)
  • Reproduzierbarkeit: Haben sich Ihre Daten seit dem letzten Anfassen inhaltlich geändert? Kein Problem, ich kann einfach mein R-Skript mit den zusätzlichen, aktualisierten oder korrigierten Daten nochmals laufen lassen und R macht dieselben Aufbereitungs- und Analyseschritte nochmals und spuckt im Hintergrund zwei Dutzend oder auch hunderte aktualisierter Grafiken aus, während ich mich anderen Problemen widme oder einen Tee trinke. Nicht zu vergleichen mit dem Aufwand, der wahrscheinlich nötig gewesen wäre, wäre der ganze Workflow nicht geskriptet umgesetzt gewesen. Wenn ich Grafiken nochmals neu produziere, laufe ich mit R auch nicht wie zum Beispiel bei Excel und Co. Gefahr, einen wichtigen manuellen Arbeitsschritt zu vergessen oder falsch auszuführen. Ich muss auch nicht alle Excel-Grafiken für die Weiterverwendung dann nochmals wieder in Rastergrafiken umwandeln.

Zuguterletzt: Mit der R-Bridge rücken R und ArcGIS künftig viel näher zusammen. Beispielsweise können in R Daten in einer File Geodatabase gelesen und analysiert werden. Auch im Microsoft-Ökosystem wird R künftig eine stärkere Rolle spielen, beispielsweise können im cloudbasierten Microsoft Azure Machine Learning (ML) Analysen in R geschrieben werden.

Hat dieser Artikel Ihr Interesse an R geweckt? Ist R das richtige Tool für Ihre Organisation? Möchten Sie gerne eine vertiefte Einführung erhalten? Wie kann R mit Ihren bestehenden Tools oder mit Ihren Python-Skripts kombiniert werden? Kontaktieren Sie mich unverbindlich.

2016 Esri Partner Conference and Developer Summit

Traditionally two members of #TeamEBP visit Esri’s annually DevSummit in order to hear the latest from the world of ArcGIS – and beyond. This year, my colleague Sarah Schöni and I had the chance to fly to California. In this post, we’d like to summarize the highlights from our point of view:

  • The overall theme: „Web GIS is a System of Engagement“
  • The Keynote: Douglas Crockford
  • The State of Esri Technology
  • Python is now a first class citizen in Esri’s world
  • What else is new and cool? Insights and Vector Tiles!
  • One more thing…
Sarah and me with two friendly developers…
Sarah and I with two friendly developers…

The overall theme: „Web GIS is a System of Engagement“

Esri usually has an overall theme that they want to get across, such as mobile in 2011, online in 2012 or platform in 2014. This year’s theme „engagement“ is based on Geoffrey Moore’s paper on „Systems of Engagement and the Future of Enterprise IT“: In the past, organizations have built transactional tools and systems specifically designed for their business processes. The systems are mostly static, very accurate, mostly complete and tightly controlled – they are systems of records. With the advent of consumer IT, we’re moving closer to systems of engagement, where the focus is on interaction, collaboration, openness and immediate answers.

Esri has transferred Moore’s theory of systems of engagement to GIS: They use the term „Web GIS“ as a synonym for a geo-information system of engagement: In this sense, a Web GIS is built on distributed servers, web clients, several focussed apps and it provides an open, real-time environment for engagement in your organization. If you are interested, you can read Jack Dangermond’s post about Esri’s vision.

Slide for WebGIS as a System of Engagement
Slide for System of Engagement

The Keynote: Douglas Crockford

One highlight of a conference is the keynote and this year we were fortunate to be able to listen to Douglas Crockford who is one of the leading figures in the development of the JavaScript language. His keynote was both entertaining and insightful. Although my main programming language of choice is not JavaScript, I highly enjoyed his talk. You can re-watch the keynote here. One highlight was the comparison between the relationship of Java and JavaScript and the relationship of Star Trek and Star Wars:

java-js-startrek-starwars

Of course, JavaScript has to be Star Wars!

The State of the Esri Technology

It seems that Esri’s server technology has reached maturity. ArcGIS for Server consists of two core components: the backend (the actual ArcGIS server software) and the frontend (the so-called Portal for ArcGIS). The backend has been around for nearly a decade (anyone remembers 9.0?) and the frontend is basically a self-hosted version of ArcGIS Online.

Currently, Esri is in a transition phase for three important technology components, namely Desktop, Runtime and JavaScript API:

  • Desktop: ArcGIS Pro has been announced 2 years ago and is now in version 1.2. It is close to becoming mainstream, but Esri stresses that ArcMap – the long-running desktop solution – will continue to be developed and supported for the next 10 years. However, new features (like generation of vector tiles) are unlikely to be developed for the „old“ platform.
  • Runtime: For developing independent GIS applications, ArcGIS Engine was the go-to solution in Esri’s world. With ArcGIS Runtime and the announcement of the Quartz architecture, there is now a new architecture to depend on in the future. At the time of writing, there is no final release yet (though beta versions for mobile are available). It is expected that versions for iOS and Android will be released in the second quarter, while the other versions (.Net, Tamarin, Java, Qt) will be released in the Q3.
  • JavaScript API: The ArcGIS JavaScript API is currently in version 3. I always recommend developers to have a look at the sample code page to get a feel of what the API can do for them. There is a lot to explore, but one thing you might be missing in version 3 is 3D (no pun intended). Last month, we’ve already written on the upcoming version 4 which handles 2D and 3D equivalently and allows to easily switch between the two dimensions while writing the code. Additionally, the API calls are much simpler now – with the drawback that older code probably has to be rewritten. For this reason I think it is more than a change in version numbers, but actually a similar big transition as we experience with Desktop and Runtime. Again, I recommend to have a look at the sample pages for the beta version to get a feel of what can be done now and in the future. The nice Esri folks at the DevSummit told me that there will be a comparison page between the functionalities of the two API versions, so stay tuned for more info. Update 2016-05-09: The page is now available and very comperehensive.

My recommendation regarding the transition of the three Esri components mentioned above: For every new project, you now have to carefully choose between the old and the new technology. There is no general advice on what is best, because it depends on the requirements of your project. If in doubt, you may consider to ask us to help you out ;-).

Python is a first class citizen in the Esri world

Talking about migration: Python has been recommended as your first option for extending ArcGIS platform functionalities. One reason is that migrating Python code from ArcMap to ArcGIS Pro is much simpler than migrating .Net code, because the ArcPy library has not changed much (except arcpy.mapping and of course some necessary adaptions due to the shift from Python 2.x to Python 3.x). So, to quote an Esri staff member: „Use more Python and less ArcObjects“.

But there was a lot more on Python, like ArcGIS integration with the packaging manager Conda and the outlook that Jupyter notebooks (formerly known as IPython notebooks) will be part of the ArcGIS platform (probably late 2016, maybe early 2017). I’m quite excited about the Jupyter integration, because then you may edit, explore and share your ArcGIS Python sessions and even take advantage of the power of SciPy, pandas and other great Python modules. Unfortunately, there weren’t too many details available on this.

ipython-arcgis
A screenshot of an ArcGIS Jupyter notebook.

What else is new and cool? Insights and Vector Tiles!

Last, but not least, we want to talk about two new cool things that have been unveiled at this year’s DevSummit:

  • Insights for ArcGIS: This demonstration was the most impressive one and was much talked about during the conference: It is basically „GIS for Data Scientists“. Just have a look at the product page or watch the 8-minute video and you get a glimpse of how easy GIS can be: Just drag-n-drop a county outline on a map of points and you get an aggregated view. Or select a slice of a histogram and the corresponding features in the map as well as on a scatter plot are highlighted.
  • Vector Tiles: Vector tiles have been announced last year, but now you can generate them from ArcGIS Pro and publish them directly on your ArcGIS Portal. At least with vector tiles, the old saying „Raster is faster, but vector is corrector“ does not hold anymore: Publishing the entire world as vector tiles takes 8 hours on a desktop machine (with 16 GB RAM and SSD) and consumes about 13 GB of disk space. Compare this to weeks of processing and dozens of terabytes of disk space for traditional raster tiles. As Esri adopted the MapBox specification for vector tiles, the tiles should eventually be consumable by non-Esri clients (and also non-Esri tiles by ArcGIS clients). But these setups are apparently work in progress and may yield unexpected results at the moment.

One more thing

Where to go from here? I recommend to have a look at the presentation videos that are already published on Esri’s video portal, for example start with the ArcGIS platform overview.

But there is one more thing and a personal note: I would like to plug my lightning talk that I gave during the DevSummit. It was about a topic, that I am planning to expand on this blog in the future:

Bots!

Stay tuned…

Example projects: Military and meteo data, geoinformation aggregation and process consulting

In the „projects“ series we occasionally highlight some of our projects. Today, these projects encompass a geodata portal for the Swiss Army, a metadata portal for meteorologists, a cloud-based aggregation infrastructure for geoinformation and a process support for a biodiversity research team.

Geographic information portal for the Swiss Army

The Swiss Army was looking to standardise its use of geodata. EBP was commissioned to help the Army develop a geographic information portal.

The so-called „Mil User Platform“ is to be realised on the basis of the Swiss Federal Office of Topography’s (swisstopo) „Federal Administration User Platform“.

EBP supported the Military Geographic Information Service of the Armed Forces Joint Staff in the conception, initiation and installation phases of the Mil User Platform project. We manage the relevant business analyses and also model the requirements to be met by the GeoInfo Portal V in SPARX Enterprise Architect.

→ find out more

 

OSCAR: Metadata for meteorology – convenient global access

© MeteoSchweiz

To manage metadata, the World Meteorological Organization (WMO) is setting up what is known as the Observing Systems Capability And Review tool (OSCAR). This tool promises to facilitate the proper use of meteorological measurement data, provide a global overview of the available weather stations; and help facilitate the task the WMO member states have of administering these stations.

Working closely with the WMO, MeteoSwiss is developing and operating the OSCAR surface module. EBP helps MeteoSwiss realise the project using the HERMES-5 methodology.

→ find out more

 

KKGEO: Operation of the cloud-based aggregation infrastructure

The Office of the Conference of Cantonal Geoinformation Service Providers (KKGEO) has established an aggregation infrastructure for the Switzerland-wide publication of harmonised cantonal spatial data: geodienste.ch.

Working in the capacity of a project manager, EBP has designed and realised the scalable operation of the portal. The software components used for the system are based on open-source technologies and were developed by Sourcepole AG.

Working in close cooperation with the cloud-service provider CloudSigma, we set up the infrastructure for the application’s operation in a Switzerland-based computing centre. Thanks to the use of dynamic scaling, our solution can react flexibly to load and request volume fluctuations.

→ find out more

 

Process consulting and implementation of the ALL-EMA database

In the context of its ALL-EMA long-term study, the Swiss research institute Agroscope is gaining a better understanding of biodiversity in Switzerland by gathering field data on flora and habitat types. Before launching the first season of fieldwork, Agroscope wanted to improve its ALL-EMA data system.

EBP supported Agroscope in migrating its ALL-EMA project infrastructure to a comprehensive system with a central repository and efficient processes for data management and analysis.

The scope of the development included tools for importing field data, sampling design and exporting derived data in relevant exchange formats. The ALL-EMA architecture, data sources, workflows, responsibilities and IT security measures were recorded in a system manual and data documentations.

→ find out more

Projektbeispiele: Meteodaten, Aggregation kantonaler Geodaten und Prozessberatung bei Agroscope

In der Serie „Projekte“ möchten wir Ihnen in unregelmässigem Rhythmus einige Highlights aus der Arbeit von EBP Informatik vorstellen. Heute drehen sich die vorgestellten Projekte um die Erstellung eines Metadatenportals für weltweite Meteodaten, den Betrieb der cloudbasierten Aggregationsinfrastruktur für kantonale Geoinformationen und die Prozessunterstützung im ALL-EMA-Biodiversitätsprojekt von Agroscope.

OSCAR: Metadaten für die Meteorologie – weltweit einfach zugänglich

© MeteoSchweiz

Die MeteoSchweiz entwickelt in enger Zusammenarbeit mit der World Meteorological Organization (WMO) einen Teil des Portals OSCAR für die Verwaltung und Analyse von Metadaten zu meteorologischen Messungen.

EBP unterstützte MeteoSchweiz im Projektmanagement, bei der Spezifizierung der Anforderungen und bei der Evaluation der WTO-Ausschreibung für einen Entwicklungspartner.

→ mehr Informationen

 

KKGEO: Systembetrieb der Aggregationsinfrastruktur in der Cloud

Die Konferenz der kantonalen Geoinformationsstellen (KKGEO) hat ein Aggregationsportal zur schweizweiten Publikation harmonisierter räumlicher Daten der Kantone in Form von Download- und Darstellungsdiensten aufgebaut.

EBP hat in der Projektleitung den skalierbaren Betrieb dieses Portals, www.geodienste.ch, konzipiert und basierend auf Softwarekomponenten von Sourcepole realisiert. Durch die dynamische Skalierung kann unsere Lösung innert kürzester Zeit auf Lastschwankungen reagieren.

→ mehr Informationen

 

Prozessberatung und Implementation ALL-EMA-Datenbank

Die Forschungsanstalt Agroscope gewinnt in der Langzeitstudie ALL-EMA anhand von in Feldarbeit erhobenen Daten zu Lebensraumtypen und Pflanzenarten Erkenntnisse zur Biodiversität in der Schweiz.

EBP unterstützt Agroscope vor der Lancierung der ersten Feldarbeitssaison bei der Überführung der Infrastruktur des Projekts ALL-EMA in ein Gesamtsystem mit einer zentralen Ablage und effizienten Prozessen für die Datenbewirtschaftung und Datenanalyse.

→ mehr Informationen