2018 Esri Partner Conference and Developer Summit – Part 2

The timing worked superbly, like the best Swiss clockwork: A few days before winter made a comeback in Switzerland, I sat in a plane to Los Angeles. Nevermind that California also had slightly cooler temperatures than usual – it was definitely preferable over the polar cold air masses that firmly occupied Switzerland. Even the place names felt evocative: Santa Cruz, Big Sur, and San Francisco. For two weeks I would cruise California, before making my way back to L.A. and then Palm Springs in order to attend the 2018 Esri Partner Conference and Developer Summit together with my colleague, Nicole Sulzberger. In what follows, we describe what we learned during the two Esri events: the latest news about developments at Esri.

Part 1 of this review has been published last week.

The Science of Where

As described previously, The Science of Where is still Esri’s tagline. Esri aims to apply the science of where to help answering spatial questions with:

  • increased efficiency to save resources
  • better analysis to actually understand what is going on, and
  • better communication to foster good decisions

Many of the recent developments shown during the Partner Conference and the Developer Summit can be linked very well to at least one, often several, of these three promises.

 

Select Highlights (continued from Part 1)

Geo AI DSVM

The big news of Esri in terms of data analysis was quite a mouthful: Esri Geo AI Data Science Virtual Machine (DSVM) on Microsoft Azure. That’s „GeoAI DSVM“ for short.  What is behind this? Geo AI DSVM is a virtual machine in the Microsoft Azure cloud that combines ArcGIS Pro and a plethora of Microsoft data science toolkits. It’s part of Microsoft’s „AI for Earth“ project. The VM contains pre-configured installations of, for example, Python, R, VisualStudio, RStudio, Microsoft Powershell, various Python and R packages, Power BI, and a Jupyter Notebook Server. So there is a lot of things that allow you to dive into GIS-supported data science in a scalable cloud environment. In order to use the GeoAI DSVM you need to have an ArcGIS Pro license and Azure VM usage charges apply. An overview of the GeoAI DSVM can be found in the Microsoft Azure Marketplace. On Github, Esri offers an example of a pixel-level landcover classification using Deep Learning with Microsoft’s Cognitive Toolkit, that can be used in conjunction with the Geo AI DSVM.

Geo AI DSVM was a big part of Joseph Sirosh’s (Corporate Vice President in the AI Research group at Microsoft) keynote address:

 

Jupyter Notebooks

Throughout the conference, various data science and machine learning examples were highlighted, and often demonstrated with Jupyter Notebooks – basically an interactive Python environment in your browser that lends itself ideally for making data analysis workflows more transparent and reproducible through integration of code, documentation, and output. Jupyter Notebooks can also be used with the Python API for ArcGIS for, e.g., Portal administration, however, if you are so inclined. If you do data analysis in Jupyter using, e.g. arcpy, results are by default temporary but can be persisted onto a Portal or locally. Esri offers http://notebooks.esri.com for testing Jupyter Notebooks.

One example that was shown using Jupyter was the extraction of SAM sites from orthoimagery using a neural network:

A planned feature for ArcGIS Portal is the integration of Jupyter Notebooks. You will be able to share your Jupyter Notebooks with your colleagues on your ArcGIS Portal.

And Other Things Python

In other Python news, we found an emphasis on ArcGIS Enterprise and Online automation using Python, specifically the ArcGIS API for Python for communicating with a web GIS. Example tasks that can be done through this pythonic API were the creation of groups and user accounts, the assignment of accounts to groups, and of content to users, cloning a portal, re-assignment of content, creation of reports about content, as well as publishing new and pruning old content. The plenary session had an Automation with Python slot that highlights some of the key developments around these topics.

Secondly, Python in ArcGIS Pro was a big topic and also part of the plenary session. Some of the key things to know: ArcGIS Pro comes with Python version 3, rather than 2.7 like ArcGIS 10.x. Further, the Python installation is conda-based. (Ana)conda is a widely used Python package and virtual environment manager that should make the lives of Python developers easier. Thanks to the conda-based installation, many relevant Python packages are pre-installed, for example the whole SciPy stack (this includes pandas). There have been numerous other improvements, big and small, of the Python developer experience, for example for those of you who like to work in Microsoft VisualStudio.

If you want to know more about these topics, check out the videos and the above links: Automation with Python and  Python in ArcGIS Pro.

Exploratory Data Analysis with Insights for ArcGIS

Insights, the data exploration solution by Esri, was highlighted throughout the event (earlier versions of Insights have been shown in previous events). This tool allows to carry out data analysis using a drag-and-drop interface that lets the user build a collection of „cards“ that can contain maps, charts, or tables. Users can interact with different cards using the linked view paradigm where features in a card are highlighted based on a user interaction in another card.

ArcGIS Insights (source: Esri)

Insights further allows joining data dynamically (not sure to what data set size this stays performant) and the analysis that a user builds is represented in a graphical model that can be shared with other users. Since December 2017, Insights is newly available also in ArcGIS Online (previously it was part of ArcGIS Enterprise): To perform analysis in Insights for ArcGIS, users need to purchase a subscription, in addition to an ArcGIS Online Level 2 named user license. A Level 1 named user license for ArcGIS Online provides you view-only access to Insights.

 

Also on the Table

There was much, much more on the plate: improvements around the performance of the GeoEvent Server, the Spatiotemporal Big Data Store and the GeoAnalytics Server, for example, but also in deployment with Docker and Kubernetes, UX and UI, data in the Living Atlas, as well as IoT and real-time applications.

 

And Where Do We Go From Here?

In our opinion, it was rightly emphasised in the plenary session during the conference: the future lies in

  • connecting separate software systems,
  • expanding collaboration between individuals, teams, departments, and organizations,
  • integrating all kinds of data in common views, be they interactive plots and visualizations, feature layers, maps or web scenes,
  • and adding powerful exploration and analysis of data.

In the perspective of Esri, these ingredients enable a new scale in the trajectory of GIS (if you still want to call it that): GIS will turn into a system of systems.

However, this process doesn’t happen by itself but requires careful thinking and designing.

If any of these piqued your interest, please get in touch with us. We are happy to think along with you and assist in designing tomorrow’s workflows, systems and tools!

 

Part 1 of this review has been published last week.

 

2018 Esri Partner Conference and Developer Summit – Part 1

The timing worked superbly, like the best Swiss clockwork: A few days before winter made a comeback in Switzerland, I sat in a plane to Los Angeles. Nevermind that California also had slightly cooler temperatures than usual – it was definitely preferable over the polar cold air masses that firmly occupied Switzerland. Even the place names felt evocative: Santa Cruz, Big Sur, and San Francisco. For two weeks I would cruise California, before making my way back to L.A. and then Palm Springs in order to attend the 2018 Esri Partner Conference and Developer Summit together with my colleague, Nicole Sulzberger, in order to gather the most recent news for our clients and to network with Esri employees and partners from around the world. In what follows, we describe what we learned during the two Esri events: the latest news about developments at Esri.

The Science of Where

The Science of Where is Esri’s tagline since 2017. In the plenary session, Jack Dangermond, the president of Esri, made clear what it summarizes: The world is seeing many big challenges. Loss in biodiversity, competition for resources, increased mobility demands, demographic shifts, and climate change, to name a few. The science of where helps to address all of these and more. It is, in Esri’s understanding, the combination of the competence of geography (process knowledge, spatial thinking and reasoning) and the technology around GIS. Applying the science of where helps answering spatial questions with:

  • increased efficiency to save resources
  • better analysis to actually understand what is going on, and
  • better communication to foster good decisions

All this rings true for me as a geographer and in our team we agreed that this vision matches well with our own.

What Esri showed during the Partner Conference and Developer Summit can be linked very well to at least one, often several, of these three promises, for example:

  • increased efficiency around working with big data, on desktop or mobile, or administrating one’s geodata infrastructure,
  • better analysis capabilities within (e.g., ArcGIS Insights, GeoAnalytics Server) and around Esri’s core products (e.g., GeoAI DSVM, R-ArcGIS-Bridge, Jupyter Notebooks), and
  • better communication through effective visualization (e.g. on mobile using the ArcGIS Javascript API 4.x, using the AR or VR mode and their innovative user experience, or leveraging the computational and graphics performance of game engines for visualizing 3D content)

Select Highlights

ArcGIS API for JavaScript

The developments of the JavaScript API 4.x has been a big topic in this years Developer Summit. The WebApp Builder and the ArcGIS Online and ArcGIS Enterprise Map Viewer are both moving to the ArcGIS JavaScript API 4.x. There are, for example, new out-of-the-box responsive widgets and an enhanced search widget. Feature Layers now support loading large amounts of features for visualization and analysis with improved client-side Web GL-based rendering, improved Feature Service capabilities, and the possibility to build a Feature Layer from in-memory data (such as a CSV file with coordinates that is loaded into a map using drag-and-drop). Finally, in JavaScript API 4.x, the geometry engine is available locally, thus you can get faster responses for geometry operations. This enables us to implement locally (and thus with immediate response), for example, snapping, simple topology checks, interactively calculating areas when cutting polygons and much more.

 

Augmented and Virtual Reality

Augmented (AR) and Virtual Reality (VR) functionality has been built into the ArcGIS Runtime SDK. The AR mode gives a transparent background to a scene so that it can be shown on top of a device’s camera feed. The VR mode allows displaying a scene in stereo and an appropriate VR user interface. There is an Esri Labs ArcGIS 360 VR app for the Samsung Gear VR headset on Oculus that highlights the new VR capabilites of Esri software. Further, Esri showed their tabletop UX for planning: there, a 3D scene (from e.g. City Engine) is displayed on a virtual tabletop. Viewers can virtually gather around the table and interact with the model, e.g. selecting different planning scenarios for visualization. The viewers themselves can be in remote locations. Upon viewing the scene they can also see other viewers and what they are looking at. Finally, any viewer can teleport into the scene itself and look at the model from different in-scene vantage points.

The following video from the plenary sessions highlights some AR/VR capabilities of ArcGIS Runtime (jump to 4:00 for seeing first a VR, then an AR demo):

 

3D and Indoors GIS

Esri 3D Web Scenes will be consumable on mobile devices, using a responsive interface. Features from 3D scene layers are quickly streamed to the device. Users can use advanced measurement tools to, for example, measure plan surface areas in a 3D scene:

 

Some powerful 3D features in native apps such as interactive line-of-sight analysis have been shown in another plenary session, the video of which is available from Esri.

Further, 3D scenes support a new rendering mode that gives building edges a „sketch“ look. This is interesting, for example, for visualization of planned projects where you do not yet want to convey a very crisp and precise impression of a provisionally planned scenario.

Since the previous Partner Conference and Developer Summit, ArcGIS Indoors has matured further. This new suite of tools comprises ArcGIS Indoors Desktop (built on top of ArcGIS Pro if I’m not mistaken), the ArcGIS Indoors Web Viewer, and the ArcGIS Indoors Mobile App. They in turn support data preparation and map design, simple editing and dashboard functionality, and indoor-navigation using device sensors through the indoors positioning feed.

ArcGIS Indoors: Esri Campus Viewer (http://3dcampus.arcgis.com/EsriCampusViewer/app)

When you zoom out from your building(s) view, the transition into geographic space and navigation by GPS only should be seamless. The navigation functionality relies on an appropriate 3D network dataset (somewhat in contrast to our own pedestrian modeling tool Walkalytics).

Click through to Part 2 of this review.

 

2017 Esri Partner Conference and Developer Summit

From Swiss late winter to Southern California spring: My colleague Alex Graf and I attended the 2017 Esri Partner Conference and Developer Summit in Palm Springs two weeks ago. These events are always a great opportunity to get the latest information on Esri software and strategy as well as spend a week in an inspiring ‚geo-rich‘ environment. In this post, we summarize some highlights from the conference.

The motto of the Partner Conference and the Developer Summit was Esri’s new claim: „The Science of Where“. Yet what exactly is the „Science of Where“? In a nutshell: It uses location and technology to collect, analyze, visualize and share data and information to solve relevant problems. Or in Jack Dangermond’s words: „[…] The Science of Where is, quite simply, what we do.“ That „we“ includes us as geographers, data scientists, developers, and, of course, users of the ArcGIS platform. From that point of view I really like the slogan. Unfortunately (but understandably) Esri has trademarked it, so this won’t become an inclusive rallying cry for e.g. #gistribe.

The big trends

The big trends in IT are of course also very relevant for GIS, and some were covered in depth at the Developer Summit: Distributed (GI) systems, real-time data streams, big data and the Internet of Things (a bit less than the other ones). Since a couple of years, Esri has been claiming to provide a distributed platform for GIS. While in the beginning this was more of a marketing claim than a working solution, we now welcome a phase where the claim becomes more and more credible. With ArcGIS 10.5, portal-to-portal collaboration is possible, for example, which allows you to connect different GI systems and share data across organizations.

Esri has also made a huge effort to enable their technology to work with ever bigger data, particularly data being transferred in real-time data streams. One outcome of this effort is the new spatio-temporal big data-store. The data store is not only capable of a much higher write-throughput (according to Esri about 50 times more events per second can be processed compared to a classical geodatabase); it can also be scaled across multiple machines in order to increase capacity. Esri also introduced their new offering for analytics: the GeoAnalytics server. It is intended for distributed analysis of massive vector and tabular data including temporal information. It should also be easily scalable and allow you to shorten the processing time of some of your analyses massively. Last but not least, visualization is also improved to work smoothly with big data (check out this tweet for an example).

All these improvements in technology will support the shift from simple GIS apps for displaying and querying spatial data to more advanced solutions that support advanced exploration, finding patterns and making predictions.

Say goodbye to old friends (or foes, frenemies)

The technological advancement has of course implications for Esri’s product portfolio: Esri believes that using ArcGIS Server as a standalone software and accessing services via REST will be a less and less common practice. They expect that the typical user (if such thing exists) will rather use services via Portal for ArcGIS. Consequently, Esri has bundled ArcGIS Server together with Portal for ArcGIS,  ArcGIS Data Store and the ArcGIS Web Adaptor and gave this package the new product name ArcGIS Enterprise.

Moving the focus from server to desktop, another oldie you should start saying Goodbye to is the ArcMap/ArcCatalog combo. ArcGIS Pro is now not only the future but should also really become the present. If you haven’t already started working with it, you should definitely do that now! There will be another release for ArcMap, but that will be purely bugfixes. All new development goes exclusively into Pro. More importantly, feature equivalency will be „more or less“ achieved this year – note though: some ArcMap/ArcCatalog functionality might never be included in Pro. Just keep an instance of ArcMap available somewhere for that odd task that you can’t do in Pro, but use Pro for everything else. And there are of course more and more cool things that you could never do in ArcMap, for example creating vector tiles, now also in 3D!

Some other cool stuff

Speaking of 3D: It was really one of the big topics at the Developer Summit (like every year to be honest – 3D provides really cool demos, doesn’t it? See this story map for an example). 3D is available across the Esri platform and all SDKs now support the same 3D capabilities. This means that you soon can use 3D scenes offline on a mobile phone! – and the performance during the demo looked exciting.

In 2016, Esri announced Insights which has now been released. It’s a browser-based tool for exploratory analysis of spatial and non-spatial data. It has similarities to business intelligence (BI) tools (cough, Tableau, cough, qlik, cough), but definitely with a stronger focus on geospatial analysis. Somewhat surprisingly, Esri stated that they don’t see themselves in competition with other BI tools. In any case, it will be interesting to see how Insights will establish itself in the market and where and to what ends it will be used (keep in mind that you’ll need an ArcGIS Enterprise installation to use Insights). For now the app works with vector and tabular data only. Support for raster data is announced for fall 2017.

Another newcomer is the ArcGIS API for Python. This API is much more powerful than the existing arcpy module and lets you script and automate all kinds of tasks across the Esri platform. Esri branded it (tongue-in-cheek) as the „return of AML“. This should delight at least one of my colleagues at EBP. There is also a completely new language called Arcade. Arcade is designed to formulate expressions (think for example, labeling) in a consistent way across the platform, something that was not possible with the options available now.

To finish off this post, let’s take an exciting look into the future: Watch this video of Esri’s HoloMap, a prototype app for Microsoft’s HoloLens:

Rückblick auf den GIS Day 2016

Richi Meyer, Christoph Graf und ich durften am Mittwoch EBP am GISDay an der HSR in Rapperswil vertreten. Der Anlass startete mit einem tollen Drohnenvideo, das in Rapperswil und Zürich gefilmt worden ist. Was sonst noch besprochen wurde, können Sie im folgenden Text nachlesen.


Quelle: FiftyFiftyFilm

Peter Jäger (Esri Schweiz) begrüsst die GISDay-Besucherinnen und Besucher
Peter Jäger (Esri Schweiz) begrüsst die GISDay-Besucherinnen und -Besucher

Der GISDay startete mit einer Begrüssung durch Herrmann Mettler, dem Rektor der Gastgeberin HSR. Herr Mettler tönte die schon auf Twitter kurz gesichtete künftige Partnerschaft zwischen Esri und der HSR an (mehr dazu weiter unten). Es folgte die kurze Begrüssung durch Peter Jäger von Esri Schweiz und dann starteten die Vorträge:

Martin Rumo: Entwicklung von Analysetools im Leistungssport

Martin Rumo vom Bundesamt für Sport (BASPO) begann seinen Vortrag mit einem Rückblick auf ein Stück (Sport-)Technologiegeschichte: die kabellose Übertragung von EKG-Daten. Aus dieser Idee entstand in Finnland vor Jahrzehnten die heute noch bekannte Firma Polar. Befeuert durch Innovationen der Mikrotechnologie werden Sensoren und Übertragungstechnik im Vergleich mit diesem frühen Produkt immer kompakter. Dies eröffnet neue Möglichkeiten für die Sporttechnologie und das BASPO.

martin-rumo-baspo
Datenanalyse im Sport. Bildquelle: EHSM.

Coaches mit der Messung von Leistungsparametern im Feld unterstützen

Konzeptionell folgt der Einsatz von Sporttechnologie diesem groben Ablauf:

Signal vom Sensor  →  Verarbeitungsschritt: Ereignisdetektion  →
Ereignisdaten  →  Verarbeitungsschritt: Aggregieren  →
Key Performance Indicators KPIs  →  Verarbeitungsschritt: Visualisierung  →
Critical Success Factors CSFs

Um die einzelnen Verarbeitungsschritte umzusetzen und die notwendige Hardware zu testen, kooperiert die Eidgenössische Hochschule für Sport in Magglingen mit dem Zentrum der Berner Fachhochschule (BFH) für Technologien für Sport und Medizin. Die Forschungsaktivitäten folgen stets dem folgenden Ablauf: 1) Die Hochschule verarbeitet Erkenntnisse der Grundlagenforschung, 2) prüft deren Resultate hinsichtlich ihrer Relevanz für den Leistungssport, 3) führt anschliessend Pilotstudien durch und 4) entwickelt dann in einigen Fällen eine neue Dienstleistung für Sportlerinnen und Sportler bzw. für deren Coaches.

Nutzendenfreundlichkeit!

Damit die fertigen Dienstleistungen auch (gerne) genutzt werden, gilt es bei der Entwicklung die Coaches bei ihren Bedürfnissen mit hoher Nutzendenfreundlichkeit abzuholen. Die besteht dabei aus Relevanz, Bedienung und Funktion. Um sie zu gewährleisten, muss Martin Rumo mit den Coaches eine gemeinsame Sprache finden, in der die Coaches ihr Erfahrungswissen und ihre Bedürfnisse formulieren können. Die zu entwickelnden Produkte müssen dann die Lücke zwischen den Erfolgsfaktoren (CSFs) (d.h. der Sicht der Coaches; zum Beispiel „Pressing“im Fussball) und den Schlüsselindikatoren (KPIs) der Data Scientists schliessen können. Gute Kommunikationsfähigkeiten auf beiden Seiten sind dafür die wichtigste Voraussetzung.

Weiterführende Informationen und Beispiele aus unserer Tätigkeit:

Dariush Daftarian: ABM bei Senozon

Woher kommt der Firmenname Senozon? Dariush Daftarian erklärt: Senozon ist die Umkehrung von „No Zones“ und damit eigentlich die Kürzestfassung des Ansatzes von Senozon. Statt wie klassische Verkehrsmodelle auf Verkehrszonen zur Modellierung von Verkehrsproduktion und Verkehrsnachfrage abzustellen, verfolgt Senozon einen Ansatz zur agentenbasierten Modellierung (ABM), wie sie im zugrundeliegenden Tool MATSim implementiert ist.

Annahmen und Modellierungsansatz

MATSim nimmt dazu Infrastrukturdaten (Gebäuderegister, Betriebszählung, Fahrpläne, etc.) und Personendaten (STATPOP, STATENT). Diese Daten werden zusammengezogen in einem Modell, das die Mobilisierung aller Personen modelliert. In der Schweiz werden zur Ableitung von Entscheidungs- bzw. Verhaltensweisen dieser simulierten Personen die Daten des Mikrozensus des Mobilitätsverhaltens benutzt. Resultat ist eine Abschätzung des Mobilitätsverhaltens jeder simulierten Person bzw. jedes Agenten im Modell. Diese Agenten werden dann auf die Mobilitätsinfratstruktur „losgelassen“. Maschinelle ÖV-Fahrgastzählungen, Checkout-Daten von Retailpartnern von Senozon und Strassenverkehrszählungen werden dazu benutzt, das Modell zu kalibrieren und anschliessend die Modellresultate zu validieren.

Fragen zum Datenschutz

Aktuell führt Senozon ein Pilotprojekt mit einer deutschen Telekomfirma durch. Laut Dariush Daftarian ist das Senozon-Modell in diesem Umfeld besonders interessant, weil die Summe der Agenten eine synthetische Bevölkerung darstellen und nicht genau echten Personen entsprechen. Probleme des Datenschutzes stellten sich deshalb weniger als bei den Analysen von Mobilfunkdaten der Telekomfirmen, die sich auf echte Individuen beziehen und deshalb datenschützerisch heikel seien.

Mobiltätsprodukte

Bankomaten-Whitespot-Analyse von Senozon für Credit Suisse.
Bankomaten-Whitespot-Analyse von Senozon für Credit Suisse.

Zum Abschluss stellt Dariush Daftarian Senozon einige Leuchtturm-Projekte vor. Senozon setzt sein Modell für verschiedene Dienstleistungen ein: zum Beispiel Standortanalysen, Standortsuchen und Analysen von CRM-Daten (Datenanreicherung). Nutzen lassen sich die unterschiedlichen Produkte via Datenauszüge, die Web App von Senozon oder eine kundenspezifische Modellierung. Die Fallbeispiele zu Standortentscheidungen von Dunkin Donuts, den Bürostandorts eines Schweizer Telekomanbieters und den Bankomatstandorten der Credit Suisse illustrierten das Gesagte anschaulich.

Weiterführende Informationen und Beispiele aus unserer Tätigkeit:

 

Peter Heinzmann: Fussballspieler-Tracking

Fussballspiel-Auswertung. Bildquelle: cnlab

Peter Heinzmann von der HSR und der Firma cnlab begann seinen Vortrag wie Martin Rumo auch mit einem kurzen Rückblick, in seinem Fall auf die Technologie für das Verfolgen von Fussballspielern in Bewegtbildern, und einem kurzen Abriss über den Einsatz von GPS-Daten im Sport. Bereits 2011 katapultierten Einladungen zu Galatasaray und Fenerbahce zu einer Demo eines Trackingsystems Peter Heinzmann in die Fussball-Szene. Die Trainerstäbe dieser beiden Mannschaften zeigten sich vom System gleich beeindrucht. Es folgten Aufträge für andere europäische Vereine. Neben dem Fussball beschäftigen Peter Heinzmann Datenanalysen und Simulationen von Velorennen wie der Züri Metzgete und der Tour de Suisse.

Verschiedene Auswertungsmöglichkeiten

Selbst Consumer-GPS-Tracker erwiesen sich schon 2011 als hinreichend genau für verschiedene Auswertungen im Fussball: Bei der taktischen Auswertung können Spielerpositionen inklusive History visuell dargestellt werden. Weiter können verschiedene taktische Massnahmen eingeblendet werden, beispielsweise die sich dynamisch verändernde Verteidigungslinie. Weiter sind möglich: Heatmaps der „Aufenthaltsorte“ der Spieler durch das Spiel, relative Heatmaps oder eine Art „Einzugsgebiete“ der einzelnen Spieler im Verhältnis zueinander und Darstellungen des sich dynamisch verändernden Mannschaftsschwerpunkts.

Verbesserte Technologie und Daten im Zentrum

Heute setzen selbst Firmen, die in der frühen Phase der Sporttechnologie auf Videotracking setzten, zumindest auch Sensoren ein. Diese dürfen zwar in der Regel nicht während Spielen getragen werden, werden aber gerne im Training benutzt. Moderne Sensoren haben eine Vielzahl von Fähigkeiten: Positionsermittlung, Geschindigkeitsmessungen, Pulsmessungen und die Messung von Beschleunigungen in mehreren Achsen und mit 100 Messungen pro Sekunde! Die Vielzahl der Sensoren führt zu viel mehr Daten und Kombinationsmöglichkeiten. Damit können mittlerweile auch sehr wertvolle abstraktere Aussagen gemacht werden, etwa zum Passverhalten, zur Ermüdung eines Spielers oder der Verletzungsgefahr. Die Unmenge von Daten und darauf aufbauende Analysen erlauben es Funktionären auch, Abschätzungen des Transferwerts von Fussballspielern vorzunehmen. Überflüssig zu sagen, dass der Wert präziser Aussagen in diesem Umfeld sehr hoch ist!

Weiterführende Informationen und Beispiele aus unserer Tätigkeit:

Abschluss

Raumbezogene Entscheidungen sind und bleiben wichtig. Aus diesem Grund freuten sich Herrmann Mettler und Peter Jäger zum Abschluss des GIS Day-Plenums die künftige Partnerschaft zwischen Esri und HSR vorzustellen, unterstützt von einem schönen Drohnenvideo in Rapperswil und in Zürich (s. oben). Die HSR wird zum Esri Development Center mit dem Ziel der technologischen Zusammenarbeit, der einfacheren Geodatennutzung und der Stärkung der Didaktik in der Planungsausbildung.

Der gelungene Anlass wurde beim Apéro riche abgeschlossen, aber dieser lässt sich schlecht in Worte fassen 😉

Wir bedanken uns bei den Organisatoren und freuen uns, 2017 wieder beim GIS Day dabeizusein!

Fitting the Alps into an App

Recently, we faced a peculiar dilemma: We wanted to provide a mobile app prototype with an attractive basemap for overview purposes. Our prototype app is focused on Switzerland and we wanted (almost needed, really) to incorporate elevation information in the form of at least a shaded relief. For the intent of this blog post it suffices to say that we wanted to show some real-time position on top of the basemap. The app was geared towards an international audience that doesn’t necessarily have a mobile data plan nor WiFi access at the time when they want to use the app. What gives?

Since our app audience wouldn’t have the opportunity to download basemap data on the go, we thought further: But a) we deemed requiring an additional large (WiFi) download before the first usage as a very unattractive option. On the other hand, we b) didn’t want to bloat the app download by packaging a huge amount of basemap data with it either. A shaded relief at a sensible, non-pixelated resolution wouldn’t come cheap in terms of payload though.

Vector tiles

Thankfully, the Esri ArcGIS Runtime SDK for Android  and ArcGIS Runtime SDK for iOS (Quartz Releases) offered a way out of our dilemma: since August 2015 Beta versions of the SDKs offer the capability of rendering vector base maps. The first production releases of these Quartz SDKs will be released in November 2016, Quartz Runtime SDKs for other platforms will follow soon (Esri ArcGIS Runtime SDKs). In a stroke of insight we came up with the plan to simply incorporate a compact vector version of a shaded relief map.

<audible gasp>

Actually, it’s not as crazy as it sounds: we were pretty sure we could discretize a shaded relief into a handful of classes, generalize it thoroughly (really thoroughly!) and arrive at something attractive and functional and smaller than tiles of a raster shaded relief.

Slimming down the data

The actual process involved an EBP-owned digital elevation model (as the official one is not yet open data, unfortunately, ahem). We computed a shaded relief and after several tries arrived at a promising discretization into merely 5 classes. Additionally, we computed and vectorized 3 elevation intervals, mainly to give the Swiss lowlands some additional elevation information. The workflow involved a mixture of tools: mainly ArcGIS for Desktop, choice functions from ET GeoWizard as well as a hint of FME. The final vector shaded relief comprises a total of 13,714 individual features after rigorous generalization of both spurious features and vertices (we had started out at 27,237).

Styling options

See the results for yourself. A coloured version of the basemap:

And with a set of freely available geodata overlaid (click for larger image):

This is how this version looks on a mobile device (click for large image; iPad Air template file CC-BY Netspy):

Besides these more colorful versions, you can generate a neutral basemap in gray shades to give more attention to the data displayed on it. A vector tiles package containing the basemap below is around 14 MB and thus suitable to be packaged together with the initial app download. In our conservative estimate, an identical image tiles basemap would – at least – multiply this value by 10.

Vectorized relief map: neutral colors for more attention on project data added on top
Vectorized relief map: neutral colors allow for more attention to the data we will put on it in the app

Good usability makes happy users

Not a perfect solution, but it serves our purposes for the prototype app really well and makes use of the latest technologies available from Esri for a light app payload.
Furthermore, vector data looks good at all zoom levels, not only at certain levels which the tiles are generated for, as you experience it with image tiles. As a bonus, the zoom and pan interactions are much smoother with vector tiles compared to image tiles.

With a bit more time on our hands we could certainly refine the process further and iron out remaining kinks. Let us know if you face similar challenges around app development, data munging or user interfaces and would welcome some innovative thinking from our team of analysts and developers. Get in touch!

Offline Editing with ArcGIS

We are currently working on a mobile app with offline geodata editing capability. The idea, of course, is: Users collect and edit data in the field and synchronise changes back into a central database when they return to their offices. The ArcGIS platform provides all the tools to easily implement that functionality. The necessary configuration is described in this tutorial. However, if you use your own app instead of Esri’s Collector app, you have to consider a few additional points. You could find out about these on help sites. But to keep you from searching too long I’ll share them in this post.

Offline geodata collection and editing with ArcGIS can facilitate railroad track maintenance
Offline geodata collection and editing with ArcGIS can facilitate railroad track maintenance

Challenges … – and a solution

We basically had two challenges to solve:

  • How do we bring the edits that were made outdoors back into the DEFAULT version of the database?
  • How do we get rid of all the (in this context: superfluous) versions the offline sync creates?

A look behind the scenes is helpful to understand what’s going on: For offline synchronisation in the Esri ecosystem you first need an enterprise geodatabase. The feature classes can either be versioned, or non-versioned with archiving activated. In our multi-user environment the second option was not viable, thus we had to go with versioning. You can find more information about setting up your environment here.

When a user then downloads data from a feature service, the following happens: The database creates a new version that is derived from the DEFAULT version. This new version gets a name like username_ID (for example Esri_Anonymous_i_1466000080844 if your map service is not secured). ArcGIS then creates a replica based on this version. This is a file geodatabase that is stored on the mobile device. One more important detail: In the database the replica is a child version of the originating version. This „hidden version“ is invisible with the normal ArcGIS tools. You can only see it in the SDE.VERSIONS table where it appears with a name like „SYNC_“.

After offline editing the user starts the synchronization process. However, this does not yet bring your edits back to the DEFAULT version of the database. Synchronize only reconciles the data between the replica and the originating version. Afterwards you need to use the Reconcile Versions tool to finally see your edits in the DEFAULT version and hence your map service. In order to streamline this process, for our application we created a geoprocessing service based on the Reconcile Versions tool which the mobile app calls after synchronization is complete (see also this help page).

Addendum for maintaining performance

The above process works fine. But there is, as you may know, one flaw: The database versions don’t automatically disappear but keep piling up. This can become a problem, when the version tree is big – which makes database compression inefficient. In the end (certainly in our project with several hundred versions), you can end up with an incredibly slow database. So let’s get rid of those unnecessary versions as soon as possible!

The Reconcile Versions tool has an option to delete version afterwards. Unfortunately, the tool fails consistently with the error message „Error deleting version […] Operation not allowed on a version with dependent children“. But there are no child versions visible in ArcGIS. So what gives? Of course, the problem arises from the „hidden versions“ of the replicas that keep us from deleting their parent versions. And how do we eliminate those? First of all, by unregistering the replicas using the REST interface of ArcGIS Server. But in our case it turned out that this was not enough: Somehow we have some „SYNC_“ versions that do not have a replica registered on ArcGIS server. Where these come from I am not entirely sure. Maybe they are created when a user aborts the data download from the map service? In any case, you can remove those versions using the Delete Version tool – although they are not visible in ArcGIS Desktop. You just need to find the version names using either arcpy.da.ListVersions or a query on SDE.VERSIONS.

The overall workflow in the end looks like this:

While the ArcGIS platform provides a great ecosystem, there are some murky corners where things can become convoluted – as in every GIS ecosystem, let’s face it. I hope these tips help you better understand offline editing and synchronization. If not or if you have an even trickier problem to solve, my colleagues and I are happy to take your questions, or hear your experiences.

Rückblick auf den GEOSummit 2016

Wir von EBP Informatik waren an der wichtigsten Schweizer GIS-Konferenz, dem GEOSummit 2016, zu Gast. Wir haben als Esri-Partner unsere Lösungen, Projekte und neusten Entwicklungen rund ums Thema Fussgängermobilität interessierten Besucherinnen und Besuchern präsentiert. Zudem haben Stephan Heuel und ich je einen Vortrag in der Session Innovation und Trends I gehalten. Hier möchten wir auf den GEOSummit 2016 zurückblicken, in Form einer reich bebilderten Twitter-basierten Review. Hier können Sie die Story auch in einem eigenen Fenster durchscrollen. Viel Spass!

2016 Esri Partner Conference and Developer Summit

Traditionally two members of #TeamEBP visit Esri’s annually DevSummit in order to hear the latest from the world of ArcGIS – and beyond. This year, my colleague Sarah Schöni and I had the chance to fly to California. In this post, we’d like to summarize the highlights from our point of view:

  • The overall theme: „Web GIS is a System of Engagement“
  • The Keynote: Douglas Crockford
  • The State of Esri Technology
  • Python is now a first class citizen in Esri’s world
  • What else is new and cool? Insights and Vector Tiles!
  • One more thing…
Sarah and me with two friendly developers…
Sarah and I with two friendly developers…

The overall theme: „Web GIS is a System of Engagement“

Esri usually has an overall theme that they want to get across, such as mobile in 2011, online in 2012 or platform in 2014. This year’s theme „engagement“ is based on Geoffrey Moore’s paper on „Systems of Engagement and the Future of Enterprise IT“: In the past, organizations have built transactional tools and systems specifically designed for their business processes. The systems are mostly static, very accurate, mostly complete and tightly controlled – they are systems of records. With the advent of consumer IT, we’re moving closer to systems of engagement, where the focus is on interaction, collaboration, openness and immediate answers.

Esri has transferred Moore’s theory of systems of engagement to GIS: They use the term „Web GIS“ as a synonym for a geo-information system of engagement: In this sense, a Web GIS is built on distributed servers, web clients, several focussed apps and it provides an open, real-time environment for engagement in your organization. If you are interested, you can read Jack Dangermond’s post about Esri’s vision.

Slide for WebGIS as a System of Engagement
Slide for System of Engagement

The Keynote: Douglas Crockford

One highlight of a conference is the keynote and this year we were fortunate to be able to listen to Douglas Crockford who is one of the leading figures in the development of the JavaScript language. His keynote was both entertaining and insightful. Although my main programming language of choice is not JavaScript, I highly enjoyed his talk. You can re-watch the keynote here. One highlight was the comparison between the relationship of Java and JavaScript and the relationship of Star Trek and Star Wars:

java-js-startrek-starwars

Of course, JavaScript has to be Star Wars!

The State of the Esri Technology

It seems that Esri’s server technology has reached maturity. ArcGIS for Server consists of two core components: the backend (the actual ArcGIS server software) and the frontend (the so-called Portal for ArcGIS). The backend has been around for nearly a decade (anyone remembers 9.0?) and the frontend is basically a self-hosted version of ArcGIS Online.

Currently, Esri is in a transition phase for three important technology components, namely Desktop, Runtime and JavaScript API:

  • Desktop: ArcGIS Pro has been announced 2 years ago and is now in version 1.2. It is close to becoming mainstream, but Esri stresses that ArcMap – the long-running desktop solution – will continue to be developed and supported for the next 10 years. However, new features (like generation of vector tiles) are unlikely to be developed for the „old“ platform.
  • Runtime: For developing independent GIS applications, ArcGIS Engine was the go-to solution in Esri’s world. With ArcGIS Runtime and the announcement of the Quartz architecture, there is now a new architecture to depend on in the future. At the time of writing, there is no final release yet (though beta versions for mobile are available). It is expected that versions for iOS and Android will be released in the second quarter, while the other versions (.Net, Tamarin, Java, Qt) will be released in the Q3.
  • JavaScript API: The ArcGIS JavaScript API is currently in version 3. I always recommend developers to have a look at the sample code page to get a feel of what the API can do for them. There is a lot to explore, but one thing you might be missing in version 3 is 3D (no pun intended). Last month, we’ve already written on the upcoming version 4 which handles 2D and 3D equivalently and allows to easily switch between the two dimensions while writing the code. Additionally, the API calls are much simpler now – with the drawback that older code probably has to be rewritten. For this reason I think it is more than a change in version numbers, but actually a similar big transition as we experience with Desktop and Runtime. Again, I recommend to have a look at the sample pages for the beta version to get a feel of what can be done now and in the future. The nice Esri folks at the DevSummit told me that there will be a comparison page between the functionalities of the two API versions, so stay tuned for more info. Update 2016-05-09: The page is now available and very comperehensive.

My recommendation regarding the transition of the three Esri components mentioned above: For every new project, you now have to carefully choose between the old and the new technology. There is no general advice on what is best, because it depends on the requirements of your project. If in doubt, you may consider to ask us to help you out ;-).

Python is a first class citizen in the Esri world

Talking about migration: Python has been recommended as your first option for extending ArcGIS platform functionalities. One reason is that migrating Python code from ArcMap to ArcGIS Pro is much simpler than migrating .Net code, because the ArcPy library has not changed much (except arcpy.mapping and of course some necessary adaptions due to the shift from Python 2.x to Python 3.x). So, to quote an Esri staff member: „Use more Python and less ArcObjects“.

But there was a lot more on Python, like ArcGIS integration with the packaging manager Conda and the outlook that Jupyter notebooks (formerly known as IPython notebooks) will be part of the ArcGIS platform (probably late 2016, maybe early 2017). I’m quite excited about the Jupyter integration, because then you may edit, explore and share your ArcGIS Python sessions and even take advantage of the power of SciPy, pandas and other great Python modules. Unfortunately, there weren’t too many details available on this.

ipython-arcgis
A screenshot of an ArcGIS Jupyter notebook.

What else is new and cool? Insights and Vector Tiles!

Last, but not least, we want to talk about two new cool things that have been unveiled at this year’s DevSummit:

  • Insights for ArcGIS: This demonstration was the most impressive one and was much talked about during the conference: It is basically „GIS for Data Scientists“. Just have a look at the product page or watch the 8-minute video and you get a glimpse of how easy GIS can be: Just drag-n-drop a county outline on a map of points and you get an aggregated view. Or select a slice of a histogram and the corresponding features in the map as well as on a scatter plot are highlighted.
  • Vector Tiles: Vector tiles have been announced last year, but now you can generate them from ArcGIS Pro and publish them directly on your ArcGIS Portal. At least with vector tiles, the old saying „Raster is faster, but vector is corrector“ does not hold anymore: Publishing the entire world as vector tiles takes 8 hours on a desktop machine (with 16 GB RAM and SSD) and consumes about 13 GB of disk space. Compare this to weeks of processing and dozens of terabytes of disk space for traditional raster tiles. As Esri adopted the MapBox specification for vector tiles, the tiles should eventually be consumable by non-Esri clients (and also non-Esri tiles by ArcGIS clients). But these setups are apparently work in progress and may yield unexpected results at the moment.

One more thing

Where to go from here? I recommend to have a look at the presentation videos that are already published on Esri’s video portal, for example start with the ArcGIS platform overview.

But there is one more thing and a personal note: I would like to plug my lightning talk that I gave during the DevSummit. It was about a topic, that I am planning to expand on this blog in the future:

Bots!

Stay tuned…

Reibungslose Feld-Berechnungen mit dem GISconnector

Im letzten Blogpost habe ich aufgezeigt, wie der GISconnector for Excel Feld-Berechnungen in ArcGIS massiv vereinfacht. Der GISconnector verbindet nämlich auf intelligente Weise die Fähigkeiten von Esri ArcGIS Desktop mit jenen von Microsoft Excel. Wie Sie wissen, vertreiben wir seit September 2014 den GISconnector for Excel exklusiv in der Schweiz. Neben vielen fortgeschrittenen Funktionen können alle Arbeitsschritte, welche die Attributdaten betreffen und die normalerweise mit der Attributtabelle in ArcGIS gelöst werden, mit Excel erledigt werden. Damit hat man alle Möglichkeiten einer modernen Tabellenkalkulations-Software in ArcGIS zur Verfügung. (Eine ausführliche Beschreibung der übrigen Funktionen des GISconnector finden Sie hier.)

Schon im ersten Teil bin ich kurz auf die Benutzerfreundlichkeit der Feld-Berechnung in ArcGIS und der Feld-Berechnung mit dem GISconnector eingangen.In diesem zweiten Teil möchte ich diesen Aspekt vertiefen.

 

Feld hinzufügen

Der Dialog links präsentiert sich, wenn man in ArcCatalog eine neue Feature Class angelegt hat und dieser Felder hinzufügen möchte. Leider sind nicht allen Anwenderinnen und Anwendern alle erlaubten Feldtypen gleich geläufig. Die meisten Desktop-Anwenderinnen und -Anwender sind aber geübt darin, in Microsoft Excel den jeweils geeigneten Datentyp zu konfigurieren.

Um in einer Feature Class ein neues Feld anzulegen, fügt man einfach einer Excel-Tabelle eine weitere Spalte hinzu. Der GISconnector übersetzt den gewählten Datentyp dann intelligent in den passenden Datentyp in Esri ArcGIS.

Bestimmt wollten Sie bei Feld-Berechnungen auch schon vorsichtig sein oder haben einfach die Empfehlung von ArcGIS befolgt und deshalb eine Editier-Sitzung gestartet. Und sich dann prompt geärgert, weil in der Editier-Sitzung einer Attributtabelle keine neuen Felder hinzugefügt werden können. Mit GISconnector können Sie alle relevanten Schritte ins vertraute Excel auslagern – und Berechnungen und Felder-Hinzufügen kommen sich nicht mehr in die Quere.

 

Berechnungsfunktion suchen

Vergleich Field_Calculator_GISconnector

Das Finden der gesuchten Berechnungsfunktion gestaltet sich in Excel in der Regel einfacher als in ArcGIS. Und viele der Python-Funktionen in ArcGIS erscheinen vielen Anwenderinnen und Anwendern wohl relativ kryptisch, während die Bedeutung von Funktionen in Excel direkt unterhalb des Auswahlfensters kurz erläutert wird.

 

Berechnungsfunktion parametrisieren und Fehler beheben

Für das Parametrisieren von Funktionen bietet Excel wahlweise einen Wizard an. Dieser hilft einem mit kontextsensitiven Angaben, die Argumente der Funktion richtig zu befüllen.

Bereits bei der Eingabe kann Excel manche Fehler erkennen und weist deutlich erkennbar darauf hin. Bei Feld-Berechnungen in ArcGIS müssen wir auf diesen Komfortlevel verzichten: Weder führt uns ein Wizard interaktiv durch die Argumente einer Funktion, noch werden wir vor Ausführen einer Berechnung auf Falscheingaben hingewiesen. 

Die Fehlermeldungen von ArcGIS nach dem Ausführen der Berechnungen fallen zudem oft ziemlich allgemein und nicht sehr hilfreich aus. Mit dem GISconnector for Excel stehen diese Komfortfunktionen GIS-Nutzerinnen und -Nutzer endlich in vertrauter Umgebung für GIS-Arbeiten zur Verfügung.

 

Editor

Last but not least muss ich noch den Python-Editor für fortgeschrittene Funktionen in ArcGIS ansprechen. Die Skriptsprache Python verzichtet darauf, Codeblöcke z.B. mit { } und etwa Strichpunkten zu strukturieren. Stattdessen ist der sogenannte Whitespace (üblicherweise Tabulatoren oder Leerzeichen) von grosser Bedeutung. Wenn eine Einrückung nicht die richtige Grösse hat (z.B. ein Tabulator oder 4 Leerzeichen), funktioniert Python-Code in der Regel nicht. Nützlich für das Programmieren von kleinen Skripts wären ausserdem Syntax-Highlighting (also die farbliche Kennzeichnung von Code-Teilen), stetige Syntax-Prüfung, ein vergrösserbares Editor-Fenster und Code-Completion (d. h. das automatische Vorschlagen von Ergänzungen; die Idee also, dass z.B. der Editor „print“ vorschlägt, sobald ich „pri“ getippt habe).

Alle diese Bestandteile sind in besseren Python-Entwicklungsumgebungen wie zum Beispiel PyCharm standardmässig enthalten. Im Python-Editor sind diese Funktionen in ArcGIS leider gar nicht oder nicht benutzerfreundlich umgesetzt: Das Einrücken mit Tabulatoren funktioniert nicht, es müssen Leerzeichen verwendet werden. Syntax-Highlighting, Syntax-Prüfung und Code-Completion sind leider auch nicht vorhanden. Und – für mich eigentlich der schlimmste Aspekt: Das Code-Fenster verwendet eine proportionale Schriftart. Das ist eine Schriftart, wie Sie sie hier im Blog sehen, bei der z.B. „m“ oder „w“ breiter sind als „i“ oder „l“. Was schön ist zum Lesen, ist denkbar ungeeignet um in Python zu programmieren, da die Ausrichtung von Code-Blöcken so noch schwieriger zu sehen ist.

Ein Vergleich des ArcGIS-Python-Editors mit der Darstellung in einer Python-Entwicklungsumgebung:

 

Fazit

Ich hoffe, die gezeigten Vergleiche haben Ihnen vor Augen geführt, wie sehr GIS-Anwenderinnen und -Anwender von der Integration von ArcGIS und Excel mit dem GISconnector profitieren können. Das Hinzufügen, Umbennen und Löschen von Feldern ist so einfach wie man es sich in Excel gewohnt ist. Bei allen Berechnungen kann man sich, falls gewünscht, auf die Unterstützung durch einen intelligenten Wizard mit Kontexthilfe verlassen. Und bei komplizierten Berechnungen verliert man keine Zeit mehr beim Erstellen von Formeln oder mit dem Aufspüren von Fehlern. Und das hier Gezeigte ist nur ein Teil der Funktionen des GISconnectors, welche die Arbeit mit GIS beschleunigen.

Haben wir Ihr Interesse am GISconnector geweckt?

Kontaktieren Sie uns bei Fragen, für eine kostenlose Testversion oder eine unverbindliche Demonstration per Screensharing.

ArcGIS, GISconnector und Excel: Eine mächtige Kombi
ArcGIS, GISconnector und Excel: Eine schlagkräftige Kombination.

 

Einfaches Berechnen in der Attributtabelle mit dem GISconnector

Wie Sie wissen, vertreiben wir seit September 2014 den GISconnector for Excel exklusiv in der Schweiz. Der GISconnector ist eine Software, welche auf intelligente Weise die Fähigkeiten von Esri ArcGIS Desktop mit jenen von Microsoft Excel verbindet. Neben vielen fortgeschrittenen Funktionen können alle Arbeitsschritte, welche die Attributdaten betreffen und die normalerweise mit der Attributtabelle in ArcGIS gelöst werden, mit Excel erledigt werden. Damit hat man alle Möglichkeiten einer modernen Tabellenkalkulations-Software in ArcGIS zur Verfügung. (Eine ausführliche Beschreibung der übrigen Funktionen des GISconnector finden Sie hier.)

ArcGIS, GISconnector und Excel: Eine mächtige Kombi
ArcGIS, GISconnector und Excel: Eine schlagkräftige Kombination.

Welche Erleichterungen ergeben sich aus der Integration von ArcGIS Desktop und Excel? Dieser Frage möchte ich nachgehen indem ich im folgenden die Benutzung des Field Calculators mit der Nutzung von Excel mittels des GISconnectors vergleiche. Ich halte mich bei den Field Calculations dafür an die zukunftsgerichtete Sprache Python, wie sie Esri im Field Calculator anbietet. Der Field Calculator ist ein sehr mächtiges Werkzeug in ArcGIS Desktop, jedoch hat er aufgrund seiner langen Geschichte Eigenheiten, an die man sich gewöhnen muss.

Vergleich der Benutzerfreundlichkeit

Eingabemasken: Spartanisch versus komfortabel

Bereits beim Vergleich der Eingabemasken (links ArcGIS Field Calculator, rechts der Funktions-Dialog in Excel) wird klar, dass Excel seine Funktionen in praktischerer Form anbietet. Im Field Calculator kann zwischen der alten (VB Script) und der neuen Skriptsprache (Python) gewählt werden. Wird zur verwendeten Formel der falsche Parser ausgewählt, wird die Berechnung in der Regel nicht funktionieren. Die eingebauten Funktionen werden nach Datentypen gruppiert angeboten. Sie sind aber weder durchsuchbar, noch werden sie irgendwo erklärt. Schliesslich kann der durch die Benutzerin zusammengebaute Ausdruck vor der Ausführung nicht verifiziert werden .

Vergleich_Field_Calculator_GISconnector_1

Ganz anders in Excel: Die Funktionen sind durchsuchbar und zu jeder Funktionen gibt es einen kleinen Hilfetext zur Erläuterung. Die Funktionen sind auch in feinere Kategorien gruppiert als in ArcGIS. Und ich kann mir sowohl alle Funktionen auf einmal als auch die von mir zuletzt verwendeten anzeigen lassen: Sehr praktisch!

Anwenderfeedback

Wenn ich in ArcGIS dann eine Field Calculation ausführe und ich meinen Ausdruck unglücklicherweise falsch formuliert habe, erfahre ich das erst zur Laufzeit. Leider geschieht das auch mit kryptischen Fehlermeldungen, welche mir wenig Hinweise liefern zur Fehlerkorrektur. Komplexere Berechnungen mit dem Field Calculator zu debuggen ist in ArcGIS wahrlich kein Vergnügen.

Vergleich_Field_Calculator_GISconnector_3

In Excel hingegen kann sich der Nutzer oder die Nutzerin auf Wunsch sich bereits bei der Formulierung einer Berechnung von einem Wizard unterstützen lassen. Dieser erläutert die Formel und die einzelnen Parameter. Der Nutzer erhält auch direkt bei der Eingabe Feedback zu ungültigen Werten oder Fehlern bei der Berechnung – und kann diese sogleich beheben, bevor die Formal auf  die gesamte Tabelle angewendet wird.

Vergleich_Field_Calculator_GISconnector_4

Vergleich von Funktionen

Arbeiten mit Zeichenketten

In der Folge vergleiche ich die Formeln bzw. Python Code Blocks in ArcGIS (links) mit Formeln in Excel (rechts), welche mit der Hilfe des GISconnectors dasselbe bewerkstelligen.

Vergleich_Field_Calculator_GISconnector_Zeichenkette_gross_schreiben

 

Sie haben einen Datensatz mit klein geschriebenen Bezeichnungen erhalten und möchten dies korrigieren? Nicht allzu schwierig, weder mit ArcGIS noch mit Excel. Bei ArcGIS gilt es neben der eigentlichen Funktion natürlich auch die etwas eigentümlich Syntax für die Verwendung von Attributen (nämlich: !Attribut!) zu kennen. Peanuts.

Vergleich_Field_Calculator_GISconnector_Mehrteilige_Zeichnkette_gross_schreiben

Komplizierter wird’s bei mehrteiligen Zeichenketten. Das Beispiel oben zeigt eine von mehreren Möglichkeiten, dies in Python und im Field Calculator zu bewerkstelligen. Beim Konstrukt handelt es sich um eine sogenannte „List Comprehension“. Dies ist definitiv schon leicht fortgeschrittenes Python-Territorium. Nicht jeder Anwender und jede Anwenderin wird sich bis hierhin vorwagen. Mit dem GISconnector bleibt die Aufgabe aber denkbar einfach: Die bereits zuvor benutzte Funktion GROSS2() bewerkstelligt die Änderung an den Zeichenketten komfortabel.

Vergleich_Field_Calculator_GISconnector_Zeichenketten_zerlegen

Für die Zerlegung von Zeichenketten verwendet man im Field Calculator die „Slicing“-Funktionalität von Python. Wenn man sich für Zeichen am Wortende interessiert, muss man die Notation mit negativen Indizes verstehen (oben links im Beispiel). Auch dies bedingt schon ein umfassenderes Verständnis von Python. Mit dem GISconnector hingegen kann man die bekannten Excel-Funktionen LINKS() und RECHTS() benutzen.

Arbeiten mit Zahlen und Zeitangaben

Vergleich_Field_Calculator_GISconnector_Zahlen_runden

 

Zahlen runden geht im Field Calculator mit dem Python-Befehl round(<Zahl>, <Anzahl Nachkommastellen>). Wenn Sie den GISconnector einsetzen, ist das Runden von Zahlen in der Attributtabelle ganz einfach wie gewohnt in Excel möglich.

Vergleich_Field_Calculator_GISconnector_Zeitstempel_einsetzen

Häufig möchte man festhalten, wann man ein Feature erfasst oder verändert hat. Den Zeitstempel kann man mit dem GISconnector mit der Funktion JETZT() einfügen. Das Format – also zum Beispiel „2.3.2015“ oder „Montag, 2. März 2015“ oder „2015-03-02“ – kann man bequem mit dem gewohnten Excel-Dialog einstellen. Deutlich komplizierter ist die Sache leider im Field Calculator: man benutzt das Python-Modul „time“ oder „datetime“ und muss dann auch die sogenannten „Format Strings“ kennen, um das Format des Zeitstempels wunschgemäss zu gestalten.

Vergleich_Field_Calculator_GISconnector_Zufallszahl_erzeugen

Manchmal wünscht man sich eine Zufallszahl in der Attributtabelle. Ich benutze diese zum Beispiel um eine Untermenge von Features zufällig auszuwählen oder auch um die Darstellung von Features zufällig zu variieren. Mit dem Python-Field Calculator verwendet man für die Zusatzzahl das Modul „random“ oder wie im Beispiel „numpy“: Vermutlich können nicht viele GIS-Anwenderinnen und -Anwender das gezeigte Statement direkt so hinschreiben. Mit dem GISconnector könnte es wiederum nicht einfacher sein: ZUFALLSZAHL() liefert genau das Gewünschte!

 

Ich hoffe, das hier Gezeigte hat Ihnen vor Augen geführt, wie sehr GIS-Anwenderinnen und -Anwender von der Integration von ArcGIS und Excel mit dem GISconnector profitieren können. Nie mehr Zeit verlieren beim Formulieren einer komplizierten Berechnung, Foren durchsuchen oder jemanden um Rat bitten! Stattdessen können Sie die komplizierteren Berechnungen direkt in der gewohnten Umgebung von Excel auf die Attributtabelle absetzen. Das ist nur eine der vielen Funktionen des GISconnectors, welche die Arbeit mit GIS beschleunigen.

Haben wir Ihr Interesse am GISconnector geweckt?

Kontaktieren Sie uns bei Fragen, für eine kostenlose Testversion oder eine unverbindliche Demonstration per Screensharing.