Over 10 dagen barst op de faculteit Bouwkunde van de TU Delft de OSGeo.nl dag 2013 los.
Als trekker vanuit OSGeo.nl ben ik daar dezer dagen druk mee bezig: programmapuntjes op de i, zorgen dat de begroting klopt, nog een laatste rondje persoonlijke "je mag dit niet missen!" mails en niet vergeten mijn verhaal waarmee de dag begint voor te bereiden.
En natuurlijk ook bezig zijn met "the day after", want met de leuke variëteit aan bezoekers op de OSGeo.nl dag krijgen we als bestuur van de stichting OSGeo.nl vast en zeker ideeën aangereikt over waar de stichting het verschil kan maken: het verbinden van bestaande open geo-ict communities met elkaar, met nieuwe gebruikers, én met relevante open source ontwikkelingen op het randje van geo.
Wat dat laatste betreft moet ik met schaamrood op de kaken bekennen dat ik een conferentie compleet over het hoofd heb gezien: de Blender-conference, precies een week geleden. In de hoofdstedelijke Beurs van Berlage nog wel: dus in mijn achtertuin, en een mooie locatie bovendien. (maar niet zo mooi als de Oostserre bij Bouwkunde waar de OSGeo.nl dag gaat plaatsvinden!).
Voor de duidelijkheid: ik heb het hier over Blender-met-twee-e's, het open source 3D modelleer en animatieprogramma. Niet te verwarren met Blendr (dus met één e): de geosocial networking application. (overigens ten onrecht nogal eens neergezet als de hetero uitvoering van Grindr). Over die geosocial networking apps'in een volgende blog meer.
Blender is om meerdere redenen interessant.
Allereerst als open source organisatie. Blender is ontstaan als commerciële software , maar op het moment dat de investeerders de stekker er zo'n beetje uittrokken heeft de Blender-community 100.000 euro bij elkaar weten te harken om de software "los te kopen". En sindsdien is Blender open source, onder een GPL license. (nog een aardigheidje voor geo-ers: de animatiestudio die in 1988 de ontwikkeling van Blender begin heette.... NeoGeo).
Inmiddels is er naast de community een Blender Institute dat zich toelegt op het maken van open 3D animaties en games waarbij Blender niet alleen als tool wordt gebruikt, maar ook verder wordt ontwikkeld.
Daarnaast is Blender voor geo's interessant omdat er inmiddels importmogelijkheden voor geodata in Blender mogelijk zijn. Daarmee is er een brug geslagen tussen geo en een zeer krachtige 3D modelleeromgeving, die weer eens uit een heel andere hoek komt.
Misschien op 19 november maar eens op de 3D inspiratiesessie kijken in hoeverre de B.V. Geo-Nederland al een hand in de Blender heeft gestoken. En in ieder geval op 13 november aanstaande de OSGeo.nl de vraag eens aan de bezoekers stellen wie hier al mee bezig is.
zondag 3 november 2013
zaterdag 19 oktober 2013
Een écht geo-bewust broertje van Buienradar
Terwijl ik dit stukje tik, tikt de regen zachtjes op mijn zolderraam. Perfecte inspiratie voor dit blog dus.
Sinds een paar maanden heb ik de app Buienalarm op mijn smartphone geïnstalleerd. Voor mij hardstikke handig: ik fiets iedere ochtend naar Amsterdam Centraal en pedaleer in Den Haag naar de "nieuwe wijken" waar mijn gemeentelijke werkplek gevestigd is en leg die route 's avonds in omgekeerde richting af. Buienalarm geeft voor mij -naast mijn actuele locatie- voor die 2 plekken aan wanneer er regen wordt verwacht.
Voor mij is de locatie immers "fixed" (ik ga niet omdat het op mijn vast route regent naar een andere bestemming) terwijl ik wel de keuze heb om eerder of later op de fiets te stappen; mijn tijdstip van reizen is flexibel.
Zo biedt Buienalarm voor mij informatie op maat, terwijl ik bij Buienradar zelf nog interpretatie in ruimte (door kaartlezen) en tijd (door de animatie) zou moeten doen.
Om een bekend geo-gezegde te parafraseren: één tijdas zegt meer dan duizend kaartbeelden!
Sinds een paar maanden heb ik de app Buienalarm op mijn smartphone geïnstalleerd. Voor mij hardstikke handig: ik fiets iedere ochtend naar Amsterdam Centraal en pedaleer in Den Haag naar de "nieuwe wijken" waar mijn gemeentelijke werkplek gevestigd is en leg die route 's avonds in omgekeerde richting af. Buienalarm geeft voor mij -naast mijn actuele locatie- voor die 2 plekken aan wanneer er regen wordt verwacht.
Voor mij is de locatie immers "fixed" (ik ga niet omdat het op mijn vast route regent naar een andere bestemming) terwijl ik wel de keuze heb om eerder of later op de fiets te stappen; mijn tijdstip van reizen is flexibel.
Zo biedt Buienalarm voor mij informatie op maat, terwijl ik bij Buienradar zelf nog interpretatie in ruimte (door kaartlezen) en tijd (door de animatie) zou moeten doen.
Om een bekend geo-gezegde te parafraseren: één tijdas zegt meer dan duizend kaartbeelden!
zondag 13 oktober 2013
Innovatie doe je zelf, uitvinden doen de buren. Maar wie zijn die buren?
De quote kwam voorbij tijdens het lustrum van de AGGN (sorry, ik weet niet meer of Layar voorman Raimo van der Klein was, of dat Geodan-er Eduado Dias de opmerking plaatste): "innovatie is niet zelf iets uitvinden, maar het zinvol toepassen van iets dat al uitgevonden is". En vandaag las ik in de lectorale rede van Alexander Pleijter (Fontsys Hogeschool) woorden van gelijke strekking. Dus stop met zelf Willie Wortel spelen, maar kijk over de schutting om te zien of buurman of buurvrouw het wiel heeft uitgevonden waar jij een nieuwe draai aan kunt geven.
Om die reden is het altijd interessant om bijeenkomsten van andere (liefst wel enigszins aanpalende) disciplines te bezoeken. Ik heb het geluk dat zo ongeveer in mijn achtertuin Pakhuis De Zwijger staat, waar de hoofdstedelijke creatieve sector geregeld evenementen organiseert, waar Platform 31 (de opvolger van het NIROV) een aantal keer per jaar haar vaktijdschrift presenteert, waar de uitreiking van de privacyprijs "Big Brother Award" plaats heeft, waar Nederland van Boven aan de pers wordt gepresenteerd en waar de Adobe gebruikersgroep (Illustrator, Photoshop enzo) geregeld een verenigingsbijeenkomst houdt.
Allemaal onderwerpen die aan mijn vakgebied (geo-informatie) raken. Waarom? Omdat ze gaan over het toepassen van geo-informatie. Open data, datavisualisatie, ruimtelijke ordening, allemaal zaken die tegen het gebruik van geo-informatie aanschurken.
Als cartograaf heb ik dus de luxe dat het aantal aanpalende vakdisciplines bijzonder groot is, maar hoe doen mijn geo-collega's die zich geodeet of landmeter noemen dat eigenlijk. Wie zijn de buurmannen en -vrouwen bij wie zij over de schutting kijken om zich te laten inspireren? Het Koninklijk Wiskundig Genootschap? De Nederlandse vereniging voor Ruimtevaart? Ik kan het even niet bedenken, maar ben er oprecht nieuwsgierig naar!
Overigens: naast inspiratie opdoen bij aanpalende of zelfs wat verder verwijderde vakdisciplines blijft een goed gesprek met een geo-collega natuurlijk ook waardevol. Net als trouwens een mooie tentoonstelling, een goed boek of fraaie film. Be inspired!
Om die reden is het altijd interessant om bijeenkomsten van andere (liefst wel enigszins aanpalende) disciplines te bezoeken. Ik heb het geluk dat zo ongeveer in mijn achtertuin Pakhuis De Zwijger staat, waar de hoofdstedelijke creatieve sector geregeld evenementen organiseert, waar Platform 31 (de opvolger van het NIROV) een aantal keer per jaar haar vaktijdschrift presenteert, waar de uitreiking van de privacyprijs "Big Brother Award" plaats heeft, waar Nederland van Boven aan de pers wordt gepresenteerd en waar de Adobe gebruikersgroep (Illustrator, Photoshop enzo) geregeld een verenigingsbijeenkomst houdt.
Allemaal onderwerpen die aan mijn vakgebied (geo-informatie) raken. Waarom? Omdat ze gaan over het toepassen van geo-informatie. Open data, datavisualisatie, ruimtelijke ordening, allemaal zaken die tegen het gebruik van geo-informatie aanschurken.
Als cartograaf heb ik dus de luxe dat het aantal aanpalende vakdisciplines bijzonder groot is, maar hoe doen mijn geo-collega's die zich geodeet of landmeter noemen dat eigenlijk. Wie zijn de buurmannen en -vrouwen bij wie zij over de schutting kijken om zich te laten inspireren? Het Koninklijk Wiskundig Genootschap? De Nederlandse vereniging voor Ruimtevaart? Ik kan het even niet bedenken, maar ben er oprecht nieuwsgierig naar!
Overigens: naast inspiratie opdoen bij aanpalende of zelfs wat verder verwijderde vakdisciplines blijft een goed gesprek met een geo-collega natuurlijk ook waardevol. Net als trouwens een mooie tentoonstelling, een goed boek of fraaie film. Be inspired!
donderdag 10 oktober 2013
Open data: slachtafval of (w)etenwaardige kliekjes?
De vaste lezers van dit blog (overigens: excuses voor de blogstilte, de voorbereidingen voor de osgeo.nl dag 2013 kosten nogal wat tijd) weten dat de metafoor een van mijn favoriete stijlfiguren is. Voor open data was ik al een poos op zoek naar een fijne metafoor.
Eergisteren was ik aanwezig op een "Inspiration Lab" van de University Leiden/campus The Hague (voertaal inderdaad Engels) waar Open State voorman Arjan El Fassad sprak over open data.
De 10 minuten van Arjan waren voor de doorgewinterde open data betrokkene niet wereldschokkend. Wel grappig: de verontschuldiging, haast schaamte van Arjan voor de naam "Hack de Overheid" (onderdeel van Open State). Even grappig: de suggestie aan het publiek (dat overwegend een Jeugd van Tegenwoordige leeftijd had) dat alle ambtenaren Methusalemiaanse leeftijden zouden hebben. Nu is de scribent dezes weliswaar ambtenaar, en grijs, en varifocusbrildragend, maar ik loop nog zonder rollator en luister zonder gehoorapparaat naar mijn iPod. En trouwens, El Fassed zit zelf ook al aan de verkeerde kant van de veertig.
Maar goed, weer on-topic, en dat topic was open data. In de uitgebreide nazit van de meeting prettig gesproken met Arjan El Fassed en anderen, waarbij natuurlijk weer die mantra "het beschikbaar stellen van alle overheidsdata, ook de ruwe data, zou integraal onderdeel van het werkproces moeten zijn". Daar kun je ver mee gaan, ik kan me niet zo goed voorstellen dat er mensen zitten te wachten op de nog niet eens vereffende punten die mijn landmetende geo-collega's op een dag bij elkaar meten (of gaat er iemand een App maken met de functionaliteit van MOVE3, ik laat me graag verrassen), of op de individuele enquetes waar alle half ingevulde exemplaren ook nog tussen zitten.
Voor de duidelijkheid: alle bij-nijvere dataproducenten doen dat niet omdat ze data willen produceren, maar omdat ze informatie willen genereren. Data is daar een middel bij. Net als kennis trouwens.
Terugkijkend op eergisteren bedacht ik de restaurantkok als metafoor: die maakt voor u een smakelijke hap, en snijdt daarvoor de vetrandjes van het vlees, haalt het loof van de worteltjes en schilt de aardappelen. Die restjes gaan, hup!, de biobak in. Of naar de varkenstrog als de biggetjes in de achtertuin van het restaurant rondlopen. Die kok gebruikt er ook nog een klontje boter bij (en zet de rest van de boter terug in de koelkast), voegt er wat versgemalen peper aan toe (en laat de rest van de peperkorrels in de molen zitten). En dat biefstukreepje dat tijdens het bakken uit de pan springt serveert onze kok ook niet aan u als gast, maar -dierenvriend als hij is- voert hij dat aan de kat van de buren.
En dan hebben we het nog maar over een routinematige restaurantavond, niet over de maandagavond waarop het restaurant gesloten is en de kok voor een select gezelschap dingen probeert waarbij er halverwege de middag goedbedoelde doch niet etenswaardige maaltijden de kliko in gaan.
Zo ook met data. Tijdens het informatieproductieproces (want dat is het doel!) wordt er geëxperimenteerd, weggegooid, toch weer uit de afvalbak (lees: van de backuptape) teruggehaald, geclassificeerd, geïnterpoleerd, gegeneraliseerd. Ik kan me niet voorstellen dat iemand in die complete datadiarree wil zitten roeren.
Is dan alleen de tabel of kaart zoals die op de gemeentelijke website of in het provinciale rapport wordt gepresenteerd datgene wat als open data beschikbaar moet worden gesteld? Nee. Ik denk dat we moeten insteken op één stap daaraan voorafgaand, namelijk de stap waarbij de (beleidsneutrale) onderzoeker de data overdraagt aan de beleidsmaker. Oftewel: het punt waarop data geïnterpreteerd wordt. En ja hoor: dan mis je als open data militant de mogelijkheid de onderzoeker te onderzoeken.
Maar om de huidige open data impasse te doorbreken zullen we voor het moment toch ergens een middenweg moeten vinden tussen het als open data beschikbaar stellen van alleen de viergangenmaaltijd aan de ene kant en het beschikbaar stellen van schillen, botten en gebruikt frituurvet aan de andere kant.
Dan blijft het voor alle partijen behapbaar.
Eergisteren was ik aanwezig op een "Inspiration Lab" van de University Leiden/campus The Hague (voertaal inderdaad Engels) waar Open State voorman Arjan El Fassad sprak over open data.
De 10 minuten van Arjan waren voor de doorgewinterde open data betrokkene niet wereldschokkend. Wel grappig: de verontschuldiging, haast schaamte van Arjan voor de naam "Hack de Overheid" (onderdeel van Open State). Even grappig: de suggestie aan het publiek (dat overwegend een Jeugd van Tegenwoordige leeftijd had) dat alle ambtenaren Methusalemiaanse leeftijden zouden hebben. Nu is de scribent dezes weliswaar ambtenaar, en grijs, en varifocusbrildragend, maar ik loop nog zonder rollator en luister zonder gehoorapparaat naar mijn iPod. En trouwens, El Fassed zit zelf ook al aan de verkeerde kant van de veertig.
Maar goed, weer on-topic, en dat topic was open data. In de uitgebreide nazit van de meeting prettig gesproken met Arjan El Fassed en anderen, waarbij natuurlijk weer die mantra "het beschikbaar stellen van alle overheidsdata, ook de ruwe data, zou integraal onderdeel van het werkproces moeten zijn". Daar kun je ver mee gaan, ik kan me niet zo goed voorstellen dat er mensen zitten te wachten op de nog niet eens vereffende punten die mijn landmetende geo-collega's op een dag bij elkaar meten (of gaat er iemand een App maken met de functionaliteit van MOVE3, ik laat me graag verrassen), of op de individuele enquetes waar alle half ingevulde exemplaren ook nog tussen zitten.
Voor de duidelijkheid: alle bij-nijvere dataproducenten doen dat niet omdat ze data willen produceren, maar omdat ze informatie willen genereren. Data is daar een middel bij. Net als kennis trouwens.
Terugkijkend op eergisteren bedacht ik de restaurantkok als metafoor: die maakt voor u een smakelijke hap, en snijdt daarvoor de vetrandjes van het vlees, haalt het loof van de worteltjes en schilt de aardappelen. Die restjes gaan, hup!, de biobak in. Of naar de varkenstrog als de biggetjes in de achtertuin van het restaurant rondlopen. Die kok gebruikt er ook nog een klontje boter bij (en zet de rest van de boter terug in de koelkast), voegt er wat versgemalen peper aan toe (en laat de rest van de peperkorrels in de molen zitten). En dat biefstukreepje dat tijdens het bakken uit de pan springt serveert onze kok ook niet aan u als gast, maar -dierenvriend als hij is- voert hij dat aan de kat van de buren.
En dan hebben we het nog maar over een routinematige restaurantavond, niet over de maandagavond waarop het restaurant gesloten is en de kok voor een select gezelschap dingen probeert waarbij er halverwege de middag goedbedoelde doch niet etenswaardige maaltijden de kliko in gaan.
Zo ook met data. Tijdens het informatieproductieproces (want dat is het doel!) wordt er geëxperimenteerd, weggegooid, toch weer uit de afvalbak (lees: van de backuptape) teruggehaald, geclassificeerd, geïnterpoleerd, gegeneraliseerd. Ik kan me niet voorstellen dat iemand in die complete datadiarree wil zitten roeren.
Is dan alleen de tabel of kaart zoals die op de gemeentelijke website of in het provinciale rapport wordt gepresenteerd datgene wat als open data beschikbaar moet worden gesteld? Nee. Ik denk dat we moeten insteken op één stap daaraan voorafgaand, namelijk de stap waarbij de (beleidsneutrale) onderzoeker de data overdraagt aan de beleidsmaker. Oftewel: het punt waarop data geïnterpreteerd wordt. En ja hoor: dan mis je als open data militant de mogelijkheid de onderzoeker te onderzoeken.
Maar om de huidige open data impasse te doorbreken zullen we voor het moment toch ergens een middenweg moeten vinden tussen het als open data beschikbaar stellen van alleen de viergangenmaaltijd aan de ene kant en het beschikbaar stellen van schillen, botten en gebruikt frituurvet aan de andere kant.
Dan blijft het voor alle partijen behapbaar.
dinsdag 23 juli 2013
Het Nederlandse keurmerk op WMS
Gisteren beweerde ik dat WMS minder standaard is dan we wel eens denken, met name door de vrijheidsgraden die deze OGC standaard in zich heeft. Ik had zelf al een follow-up in gedachten, en toen er ook nog een reactie van Thijs Brentjens binnenkwam kon ik niet meer uit onder het publiceren van deze aanvulling:
GeoNovum weet raad, want heeft voor WMS services een Nederlands profiel opgesteld. In dat profiel zijn een flink deel van de hier boven geschetste vrijheidsgraden dichtgetimmerd, zoals de verplichting de WMS in 3 coördinaatsystemen te serveren: RD, ETRS89 en WGS84. Met de bij dat profiel behorende validator kun je nagaan of een WMS service (niet noodzakelijker wijs een die je zelf serveert) aan dit Nederlandse profiel voldoet.
Ook in het Nationaal Georegister staat onder iedere WMS-service een knopje waarmee die service kan worden gechecked op het voldoen aan de Vaderlandse Set van Afspraken. Eerlijk gezegd dacht ik tot gisteren dacht ik dat dat icoontje aangaf óf een service aan het profiel voldoet, maar nee, je moet zelf nog even op die knop drukken om de ("live"-)testresultaten te krijgen.
Ik heb ze niet allemaal uitgeprobeerd, maar een forse steekproef leert dat met name de manier waarop de resultaten van GetFeatureInfo (de "identify") wordt teruggegeven een struikelblok is; "text/xml" blijkt maar weinig ondersteund te worden. Ook de PDOK services gaan daar "nat" op. Dat het wel kan bewijst TNO, de GeoTop-services formatie van Stramproy (onderdeel van DINO) slaagt met vlag en wimpel voor het Nederlandse profiel-"examen".
"The devil is in the detail" riep toenmalig PDOK-programmamanager Pieter Meijer vorig jaar bij het puntjes-op-de-i-zetten. Inderdaad, want juist dit soort details maken het verschil tussen webservices als eeuwige belofte en webservices als echte doorbraak naar een breder publiek.
WMS is niet de enige standaard die een rekbaar begrip is:
GeoNovum weet raad, want heeft voor WMS services een Nederlands profiel opgesteld. In dat profiel zijn een flink deel van de hier boven geschetste vrijheidsgraden dichtgetimmerd, zoals de verplichting de WMS in 3 coördinaatsystemen te serveren: RD, ETRS89 en WGS84. Met de bij dat profiel behorende validator kun je nagaan of een WMS service (niet noodzakelijker wijs een die je zelf serveert) aan dit Nederlandse profiel voldoet.
Ook in het Nationaal Georegister staat onder iedere WMS-service een knopje waarmee die service kan worden gechecked op het voldoen aan de Vaderlandse Set van Afspraken. Eerlijk gezegd dacht ik tot gisteren dacht ik dat dat icoontje aangaf óf een service aan het profiel voldoet, maar nee, je moet zelf nog even op die knop drukken om de ("live"-)testresultaten te krijgen.
Ik heb ze niet allemaal uitgeprobeerd, maar een forse steekproef leert dat met name de manier waarop de resultaten van GetFeatureInfo (de "identify") wordt teruggegeven een struikelblok is; "text/xml" blijkt maar weinig ondersteund te worden. Ook de PDOK services gaan daar "nat" op. Dat het wel kan bewijst TNO, de GeoTop-services formatie van Stramproy (onderdeel van DINO) slaagt met vlag en wimpel voor het Nederlandse profiel-"examen".
"The devil is in the detail" riep toenmalig PDOK-programmamanager Pieter Meijer vorig jaar bij het puntjes-op-de-i-zetten. Inderdaad, want juist dit soort details maken het verschil tussen webservices als eeuwige belofte en webservices als echte doorbraak naar een breder publiek.
WMS is niet de enige standaard die een rekbaar begrip is:
maandag 22 juli 2013
WMS is geen standaard
Een paar maanden geleden schreef ik dat shapefiles geen standaard zijn. Dat was natuurlijk een open deur. Maar ook die mooie OGC-standaarden, de WxS familie (WMS, WFS, WCS etc.) zijn wat minder standaard dan je zou denken en willen.
Als voorbeeld de WMS, de Web Map Service, zo'n beetje de moeder aller geo-webservicestandarden. Dat die verschillende versies kent (1.1.0, 1.1.1, 1.3.0) is een kwestie van voortschrijdend inzicht, maar in ieder geval zijn die versies door hun nummers helder onderscheidbaar. Lastiger wordt het met de vrijheidsgraden die er binnen die versies zitten. Een "GetCapabilities" en een "GetMap" moet iedere WMS service kunnen ophoesten, maar als je er ook een reeks legendablokjes van wilt opvragen ("GetLegendGraphic") of er met de spreekwoordelijke geo-breinaald een identify op wilt uitvoeren ("GetFeatureInfo") moet je maar hopen dat de serversoftware zo vriendelijk is dat te ondersteunen. En als die GetFeatureInfo wél geïmplementeerd is is het nog een verrassing wat voor soort antwoord je krijgt; dat kan een opgemaakt stukje HTML zijn, of kale text, of een brokje XML of zelfs een hapje GML of JSON.
Opgemaakte HTML leest natuurlijk lekker weg als antwoord, maar als je een webapplicatie hebt waar verschillende WMS services onder hangen, waarvan de aanbieders allemaal hun eigen ideeën hebben over de grafische HTML-opmaak van de GetFeatureInfo wordt die applicatie voor de eindgebruiker erg rommelig. Dan is het handiger als je wat XML terugkrijgt, om daar vervolgens aan de client-kant wat opmaak-logica op toe te passen. Of als je een eigen opmaak-template met het GetFeatureInfo request kunt meesturen om zo voor de nietsvermoedende eindgebruiker een consistente gebruikservaring aan te bieden.
Dus voordat je een externe WMS-service gaat gebruiken even de checklist aflopen: is het een platte WMS zonder zelfs maar identify-mogelijkheden ("koffie zwart") of gaat het om een SLD-enabled WMS met user-stylable GetFeatureInfo ondersteuning ("Decaf Double tall non-fat extra-dry cappuccino"). Dat is voor de geo-sensatie van de eindgebruiker een wereld van verschil!
Als voorbeeld de WMS, de Web Map Service, zo'n beetje de moeder aller geo-webservicestandarden. Dat die verschillende versies kent (1.1.0, 1.1.1, 1.3.0) is een kwestie van voortschrijdend inzicht, maar in ieder geval zijn die versies door hun nummers helder onderscheidbaar. Lastiger wordt het met de vrijheidsgraden die er binnen die versies zitten. Een "GetCapabilities" en een "GetMap" moet iedere WMS service kunnen ophoesten, maar als je er ook een reeks legendablokjes van wilt opvragen ("GetLegendGraphic") of er met de spreekwoordelijke geo-breinaald een identify op wilt uitvoeren ("GetFeatureInfo") moet je maar hopen dat de serversoftware zo vriendelijk is dat te ondersteunen. En als die GetFeatureInfo wél geïmplementeerd is is het nog een verrassing wat voor soort antwoord je krijgt; dat kan een opgemaakt stukje HTML zijn, of kale text, of een brokje XML of zelfs een hapje GML of JSON.
Opgemaakte HTML leest natuurlijk lekker weg als antwoord, maar als je een webapplicatie hebt waar verschillende WMS services onder hangen, waarvan de aanbieders allemaal hun eigen ideeën hebben over de grafische HTML-opmaak van de GetFeatureInfo wordt die applicatie voor de eindgebruiker erg rommelig. Dan is het handiger als je wat XML terugkrijgt, om daar vervolgens aan de client-kant wat opmaak-logica op toe te passen. Of als je een eigen opmaak-template met het GetFeatureInfo request kunt meesturen om zo voor de nietsvermoedende eindgebruiker een consistente gebruikservaring aan te bieden.
Dus voordat je een externe WMS-service gaat gebruiken even de checklist aflopen: is het een platte WMS zonder zelfs maar identify-mogelijkheden ("koffie zwart") of gaat het om een SLD-enabled WMS met user-stylable GetFeatureInfo ondersteuning ("Decaf Double tall non-fat extra-dry cappuccino"). Dat is voor de geo-sensatie van de eindgebruiker een wereld van verschil!
woensdag 26 juni 2013
"big data" of "understanding our world"?
Stomtoevallig kwamen vanochtend twee artikelen voor mijn leesbril die "big data" en "geo" met elkaar in verband brachten. Allereerst las ik in de weekendbijlage van het NRC een artikel van internetscepticus Evgeny Morozov. Dat artikel is in de Engelstalige versie online te lezen op Slate Magazine, dus lees vooral even mee. Morozov betoogt in het artikel dat "big data" vooral gaat over het ontdekken van een cijfermatig verband tussen verschijnselen door bergen data in de übergrote statistiekmolen te gooien, terwijl het geen enkel inzicht geeft in causaliteit: wordt verschijnsel A door verschijnsel B veroorzaakt, of is het er juist een gevolg van, of zijn beide verschijnselen allebei het gevolg van oorzaak C?
Morozov geeft aan dat big data ons lui maakt; in plaats van op zoek te gaan naar de oorzaak van verschijnselen focussen we alleen maar op de gevolgen: "we hoeven niet te vragen waarom alles is zoals het is, zolang we het maar naar believen kunnen beïnvloeden", schrijft Morozov.
5 minuten later werd ik gewezen op het artikel Mapping the Future with Big Data van Patrick Tucker in "The Futurist", het magazine van de World Future Society. Daarin beschrijft Tucker hoe het simpelweg op elkaar stapelen van bergen data op het eerste inzicht wel inzicht lijkt te bieden, maar dat bij nader inzien juist een dwaalspoor blijkt te zijn: het op een topografische ondergrond projecteren van a) een dataset met sociale woningbouw en b) een dataset met misdaadlocaties geeft slechtsaan dat er correlatie is, maar vertelt helemaal niets over een oorzakelijk verband. "Every map is only as good as the data that built it and the understanding of the map maker", schrijft Tucker na een interview met Jack Dangermond, en "If we can avoid the temptation to view any map as complete, if we can remind ourselves not to simply layer a map of housing subsidies on top of the crime map and call it a day, if we can find the energy to instead go one map further, and then another, and then another, then perhaps GIS will live up to its fullest potential."
Dát is de opgave voor iedere serieuze cartograaf: duidelijk maken dat de kaart niet de ultieme waarheid is, maar een hulmiddel naar het ontdekken van oorzakelijke verbanden. En die oorzakelijke verbanden hoeven helemaal niet ruimtelijk te zijn. "Understanding our world" noemt Esri dat, en dat is wezenlijk meer dan (pseudo-)informatie genereren door datasets te stapelen.
Morozov geeft aan dat big data ons lui maakt; in plaats van op zoek te gaan naar de oorzaak van verschijnselen focussen we alleen maar op de gevolgen: "we hoeven niet te vragen waarom alles is zoals het is, zolang we het maar naar believen kunnen beïnvloeden", schrijft Morozov.
5 minuten later werd ik gewezen op het artikel Mapping the Future with Big Data van Patrick Tucker in "The Futurist", het magazine van de World Future Society. Daarin beschrijft Tucker hoe het simpelweg op elkaar stapelen van bergen data op het eerste inzicht wel inzicht lijkt te bieden, maar dat bij nader inzien juist een dwaalspoor blijkt te zijn: het op een topografische ondergrond projecteren van a) een dataset met sociale woningbouw en b) een dataset met misdaadlocaties geeft slechtsaan dat er correlatie is, maar vertelt helemaal niets over een oorzakelijk verband. "Every map is only as good as the data that built it and the understanding of the map maker", schrijft Tucker na een interview met Jack Dangermond, en "If we can avoid the temptation to view any map as complete, if we can remind ourselves not to simply layer a map of housing subsidies on top of the crime map and call it a day, if we can find the energy to instead go one map further, and then another, and then another, then perhaps GIS will live up to its fullest potential."
Dát is de opgave voor iedere serieuze cartograaf: duidelijk maken dat de kaart niet de ultieme waarheid is, maar een hulmiddel naar het ontdekken van oorzakelijke verbanden. En die oorzakelijke verbanden hoeven helemaal niet ruimtelijk te zijn. "Understanding our world" noemt Esri dat, en dat is wezenlijk meer dan (pseudo-)informatie genereren door datasets te stapelen.
maandag 24 juni 2013
Geodesign in de "actieagenda architectuur en ruimtelijk ontwerp"?
Vorige week stuitte ik op de "actieagenda architectuur en ruimtelijk ontwerp". Dat gezamenlijke product van de departementen van Infrastructuur & Milieu en Onderwijs, Cultuur & Wetenschap blijkt op 18 september (zegge en schrijve 4 dagen na Carl Steinitz' bezoek aan de VU waar ik in een vorige blog over schreef) door Minister Schultz van Haegen aan de Tweede Kamer te zijn aangeboden. Daarin wordt beschreven wat het belang is van ruimtelijk ontwerp in zijn algemeenheid ("ontwerp helpt andere (top)sectoren verder") en waar de urgentie zit in Nederland (onder meer herbestemming, onderwijshuisvesting, krimp en wateropgaven).
Opvallend is dat waar er in die actieagenda wordt gesproken over "innovatie" en "vernieuwing" dat gaat over a) hoe ontwerp bijdraagt aan innovatie, b) over de veranderende rol omdat gebruikers ("the people of the place, in Carl Steinitz' terminologie) door ontwikkelingen in de ICT beter geïnformeerd zijn dan vroeger, én omdat die gebruikers steeds vaker een actieve rol hebben, soms zelfs als (mede-)opdrachtgever en c) over een nieuwe typen ruimtelijke opgaven . Maar dat technologische ontwikkelingen én gemakkelijker beschikbaar van steeds meer data tot innovatieve vormen van ontwerp kan leiden lees ik niet in de actieagenda.
Misschien kan er op de European Geodesign Summit in september 2013 een workshop worden gewijd aan het doorspitten van de "actieagenda architectuur en ruimtelijk ontwerp" om te kijken waar Geodesign tussen de regels kan worden gelezen, of waar een Geodesign paragraaf kan worden toegevoegd. Daarmee wordt Geodesign uit de geo-ict-hoek getrokken en neergezet als wat het echt is: een logische, 21e eeuwse vorm van ruimtelijk ontwerp.
Ruimtelijk ontwerp dat trouwens geen doel op zich is, maar "slechts" een methodiek om in het planningsproces partijen tot een "common picture" te laten komen. Zo klinkt het heel bescheiden, maar die rol is wel essentieel.
Gelukkig zitten het kloppend hart van ruimtelijk ontwerpend Nederland en dat van het geo-informatiebeleid zo'n beetje op dezelfde gang in het Ministerie van IenM aan de Haagse Plesmanweg. Dat is niet nieuw, ruimtelijk ontwerp en geo-informatie zaten al in de jaren tachtig van de vorige eeuw bijna bij elkaar op schoot bij de toenmalige Rijksplanologsiche Dienst (RPD). Wel nieuw is dat in een belangrijk beleidsdocument, de Structuurvisie Infrastructuur en Ruimte (SVIR) ruimtelijk ontwerp en geo-informatie zo'n beetje in één adem worden genoemd, dus wie weet gaat het langverwachte huwelijk tussen die twee er toch nog eens van komen.
Nb. Om die cross-over te vergemakkelijken: die structuurvisie staat sinds afgelopen weekend in maar liefst twee vormen in PDOK: een keer als onderdeel van alle vigerende ruimtelijke plannen (ook bekend van RO-Online), en daarnaast nog eens als losse geodataset: ruim 200 Mb aan shapefiles!
Opvallend is dat waar er in die actieagenda wordt gesproken over "innovatie" en "vernieuwing" dat gaat over a) hoe ontwerp bijdraagt aan innovatie, b) over de veranderende rol omdat gebruikers ("the people of the place, in Carl Steinitz' terminologie) door ontwikkelingen in de ICT beter geïnformeerd zijn dan vroeger, én omdat die gebruikers steeds vaker een actieve rol hebben, soms zelfs als (mede-)opdrachtgever en c) over een nieuwe typen ruimtelijke opgaven . Maar dat technologische ontwikkelingen én gemakkelijker beschikbaar van steeds meer data tot innovatieve vormen van ontwerp kan leiden lees ik niet in de actieagenda.
Misschien kan er op de European Geodesign Summit in september 2013 een workshop worden gewijd aan het doorspitten van de "actieagenda architectuur en ruimtelijk ontwerp" om te kijken waar Geodesign tussen de regels kan worden gelezen, of waar een Geodesign paragraaf kan worden toegevoegd. Daarmee wordt Geodesign uit de geo-ict-hoek getrokken en neergezet als wat het echt is: een logische, 21e eeuwse vorm van ruimtelijk ontwerp.
Ruimtelijk ontwerp dat trouwens geen doel op zich is, maar "slechts" een methodiek om in het planningsproces partijen tot een "common picture" te laten komen. Zo klinkt het heel bescheiden, maar die rol is wel essentieel.
Gelukkig zitten het kloppend hart van ruimtelijk ontwerpend Nederland en dat van het geo-informatiebeleid zo'n beetje op dezelfde gang in het Ministerie van IenM aan de Haagse Plesmanweg. Dat is niet nieuw, ruimtelijk ontwerp en geo-informatie zaten al in de jaren tachtig van de vorige eeuw bijna bij elkaar op schoot bij de toenmalige Rijksplanologsiche Dienst (RPD). Wel nieuw is dat in een belangrijk beleidsdocument, de Structuurvisie Infrastructuur en Ruimte (SVIR) ruimtelijk ontwerp en geo-informatie zo'n beetje in één adem worden genoemd, dus wie weet gaat het langverwachte huwelijk tussen die twee er toch nog eens van komen.
Nb. Om die cross-over te vergemakkelijken: die structuurvisie staat sinds afgelopen weekend in maar liefst twee vormen in PDOK: een keer als onderdeel van alle vigerende ruimtelijke plannen (ook bekend van RO-Online), en daarnaast nog eens als losse geodataset: ruim 200 Mb aan shapefiles!
zondag 9 juni 2013
Geodesign: ruimtelijk ontwerp op z'n Agile's
Bijna driekwart jaar geleden werd ik door GeoNovum-directeur Rob van der Velde uitgenodigd om op de Amsterdamse VU bij een lezing van dr. Carl Steinitz aan te schuiven. Onderwerp: Geodesign. Op dat moment was Geodesign voor mij nog een onbekend thema. Wel had ik in de pakweg 8 voorafgaande jaren bij het Ministerie van I&M (voorheen VROM) als geo-specialist gewerkt op de afdeling die zich ook met ruimtelijk ontwerp bezig hield. Had ik al die tijd zó in het midden van de Geodesign-orkaan gezeten dat ik niet doorhad dat ik continue aan het Geodesignen was? Want ja, we hadden wel ArcGIS én ArcSketch én Illustrator op onze computers staan! En was Geodesign dan niet meer dan een nieuwe naam voor een al heel lang bestaand concept? (En ook op het moment dat ik dit stuk schrijf levert de combinatie "geodesign" en "ruimtelijk ontwerp" bij Google slechts 2 hits op).
Die dag in september werd zeer enthousiast geopend door Henk Scholten, waarna een introrondje langs de ongeveer 50 aanwezigen leerde dat we met een breed gezelschap aanwezig waren. Da's altijd interessant. Carl Steinitz vertelde boeiend, over "changing geography through design", over hoe "the people of the place", IT, wetenschap en ontwerp in samenwerking tot een goed ruimtelijk ontwerp komen. Wel vroeg ik me af in hoeverre dit nu specifiek voor "geography" was: is niet ieder goed ontwerp een samenwerking van die 4 groepen? En ik miste de politiek-bestuurlijke factor in Steinitz' betoog: ook goede ontwerpen kunnen politiek onhaalbaar zijn.
Geënthousiasmeerd diezelfde dag nog naar de boekhandel om het boek "A framework for geodesign" te bestellen. En vreemd genoeg kwam ik daar niet doorheen. Wat wordt mij voor nieuws verteld? Ik miste de spanning er in, de drive waardoor je nieuwsgierig bent naar de volgende pagina. Dus na pakweg 65 van de 200 bladzijden ging het boekwerk de kast weer in.
Toch blijft de kreet "Geodesign" tot op heden in mijn hoofd rondzingen. Inmiddels ben ik er op uit gekomen dat "real-time" het toverwoord is. Omdat de processorcapaciteit anno 2013 zo groot is dat we ontwerpen "real-time" in 3D kunnen doorrekenen. Omdat alle benodigde geo-informatie tegenwoordig dankzij het gebruik van webservices er ter plekke met de bytes bijgesleept kan worden. Omdat dat proces niet meer tussen 9 en 5 in een met computers volgestouwd rekencentrum moet plaatsvinden maar anywhere, anytime uitgevoerd kan worden.
Dus niet langer meer de lineaire aanpak van een serie randvoorwaarden opstellen, binnen dat kader een ontwerp maken (uiteraard met een aantal varianten) en die tegen elkaar afzetten. Nee: ontwerpen, toetsen, aanpassen (of weggooien), toetsen. In een snelkookpan, samen met alle stakeholders. Klaar terwijl u wacht!
Verrek, het lijkt wel een Agile-aanpak! Een aanpak die we met name uit de software ontwikkeling kennen, maar die langzamerhand ook in andere vakgebieden wordt toegepast.
Geodesign is wat mij betreft dus vooral een proces: ruimtelijk ontwerp met een Agile-aanpak. De opgave voor de geo-sector zit er in die Agile-aanpak (mede) mogelijk te maken.
Die dag in september werd zeer enthousiast geopend door Henk Scholten, waarna een introrondje langs de ongeveer 50 aanwezigen leerde dat we met een breed gezelschap aanwezig waren. Da's altijd interessant. Carl Steinitz vertelde boeiend, over "changing geography through design", over hoe "the people of the place", IT, wetenschap en ontwerp in samenwerking tot een goed ruimtelijk ontwerp komen. Wel vroeg ik me af in hoeverre dit nu specifiek voor "geography" was: is niet ieder goed ontwerp een samenwerking van die 4 groepen? En ik miste de politiek-bestuurlijke factor in Steinitz' betoog: ook goede ontwerpen kunnen politiek onhaalbaar zijn.
Geënthousiasmeerd diezelfde dag nog naar de boekhandel om het boek "A framework for geodesign" te bestellen. En vreemd genoeg kwam ik daar niet doorheen. Wat wordt mij voor nieuws verteld? Ik miste de spanning er in, de drive waardoor je nieuwsgierig bent naar de volgende pagina. Dus na pakweg 65 van de 200 bladzijden ging het boekwerk de kast weer in.
Toch blijft de kreet "Geodesign" tot op heden in mijn hoofd rondzingen. Inmiddels ben ik er op uit gekomen dat "real-time" het toverwoord is. Omdat de processorcapaciteit anno 2013 zo groot is dat we ontwerpen "real-time" in 3D kunnen doorrekenen. Omdat alle benodigde geo-informatie tegenwoordig dankzij het gebruik van webservices er ter plekke met de bytes bijgesleept kan worden. Omdat dat proces niet meer tussen 9 en 5 in een met computers volgestouwd rekencentrum moet plaatsvinden maar anywhere, anytime uitgevoerd kan worden.
Dus niet langer meer de lineaire aanpak van een serie randvoorwaarden opstellen, binnen dat kader een ontwerp maken (uiteraard met een aantal varianten) en die tegen elkaar afzetten. Nee: ontwerpen, toetsen, aanpassen (of weggooien), toetsen. In een snelkookpan, samen met alle stakeholders. Klaar terwijl u wacht!
Verrek, het lijkt wel een Agile-aanpak! Een aanpak die we met name uit de software ontwikkeling kennen, maar die langzamerhand ook in andere vakgebieden wordt toegepast.
Geodesign is wat mij betreft dus vooral een proces: ruimtelijk ontwerp met een Agile-aanpak. De opgave voor de geo-sector zit er in die Agile-aanpak (mede) mogelijk te maken.
woensdag 8 mei 2013
Esri REST API als standaard: het einde van WMS, WFS, WCS (en OGC)?
Reuring in en rond het OGC: Esri heeft haar Geoservices REST API specificatie als standaard aan de internationale geostandaardenbeheerder OGC aangeboden, en deze maand mogen de OGC leden met stemrecht uitroepen of ze het een goed plan vinden deze Esri standaard tot OGC standaard te verheffen.
Op het eerste gezicht lijkt het handig REST tot standaard te verheffen. In veel gemeentelijke en provinciale GIS viewers zie je nu GeoWeb als voorkant dat via REST babbelt met ArcGIS aan de serverkant. Als we allemaal REST-met-een-esri-accent praten kun je die achterkant als je dat wilt inruilen voor open source producten als Geoserver of Mapserver, of proprietary server software van Autodesk, Oracle of Geomedia. Of omgekeerd kun je ArcGIS aan de achterkant houden en er REST sprekende web- en/of desktop clients mee laten werken. Hardstikke interoperabel!
Maar ja, daar hadden we toch al standaarden voor? De familie WxS (de broertjes WMS, WFS, WMTS, WCS, WMC en hun neefjes CSW, SLD). waarom dan toch een nieuwe standaard? Dát staat ontnuchterend beschreven in een bijlage bij het voorstel van Esri (samen met o.a. Oracle) aan het OGC. Daarin staat beschreven wat de overlap is tussen de 8 voorgestelde op REST gebaseerde standaarden en hun bestaande equivalenten. Die overlap is groot, en de motivatie van Esri c.s. om tot een nieuwe serie standaarden te komen is dat van de bestaande standaarden een hoop functionaliteit toch niet gebruikt wordt. Veelal gaat dat om functionaliteit "aan de achterkant": de WxS standaarden ondersteunen veel rijkere datamodellen dan dat Esri's geoservices REST doet.
De OGC standaarden willen alle mogelijkheden omvatten terwijl Esri met zijn REST specificatie een praktische 80/20 regelt hanteert: als we met 20% van de inspanning (lees: regels programmacode) in 80% van de functionaliteit van de OGC services kunnen voorzien, dan is dat toch voldoende?
Dan zijn de bestaande standaarden blijkbaar te complex. Doe daar dan wat aan, zou je denken. In diezelfde bijlage wordt echter ook aangegeven waarom het volgens Esri & Oracle niet mogelijk is de bestaande standaarden aan te passen: "While it would be possible to develop new versions of the OGC Web Services standards using a consistent framework and with support for JSON representations and a RESTful "binding", this will likely take significant time due to the unresolved REST-related discussion items, the current organization of OGC SWGs based on the individual standards and the fragmentation into separate standards."
Daarmee wordt dit voorstel aan het OGC een verzoek om in te stemmen met de bevinding dat de traagheid en fragmentatie van het OGC en haar Standard Working Groups (SWG's) daadkrachtige en samenhangende ontwikkeling van de standaarden onmogelijk maken. Breng dan maar gelijk een voorstel op tafel om het OGC helemaal af te schaffen!
Het is daarmee een testcase voor het OGC: willen het OGC de club zijn die voor iedere toepassing één standaard voorschrijft, of wordt er voor iedere toepassing een serie "standaarden" goedgekeurd. Net zoals de Nederlandse vereniging van huisvrouwen een keurmerk hanteerde, waaraan zowel Dreft als Dubro voldeden, en net zoals het Koninklijk Huis bij het uitdelen van het predicaat "Hofleverancier" ook geen exclusiviteit binnen een branche nastreeft.
Standaarden: je kunt er niet genoeg van hebben!
Op het eerste gezicht lijkt het handig REST tot standaard te verheffen. In veel gemeentelijke en provinciale GIS viewers zie je nu GeoWeb als voorkant dat via REST babbelt met ArcGIS aan de serverkant. Als we allemaal REST-met-een-esri-accent praten kun je die achterkant als je dat wilt inruilen voor open source producten als Geoserver of Mapserver, of proprietary server software van Autodesk, Oracle of Geomedia. Of omgekeerd kun je ArcGIS aan de achterkant houden en er REST sprekende web- en/of desktop clients mee laten werken. Hardstikke interoperabel!
Maar ja, daar hadden we toch al standaarden voor? De familie WxS (de broertjes WMS, WFS, WMTS, WCS, WMC en hun neefjes CSW, SLD). waarom dan toch een nieuwe standaard? Dát staat ontnuchterend beschreven in een bijlage bij het voorstel van Esri (samen met o.a. Oracle) aan het OGC. Daarin staat beschreven wat de overlap is tussen de 8 voorgestelde op REST gebaseerde standaarden en hun bestaande equivalenten. Die overlap is groot, en de motivatie van Esri c.s. om tot een nieuwe serie standaarden te komen is dat van de bestaande standaarden een hoop functionaliteit toch niet gebruikt wordt. Veelal gaat dat om functionaliteit "aan de achterkant": de WxS standaarden ondersteunen veel rijkere datamodellen dan dat Esri's geoservices REST doet.
De OGC standaarden willen alle mogelijkheden omvatten terwijl Esri met zijn REST specificatie een praktische 80/20 regelt hanteert: als we met 20% van de inspanning (lees: regels programmacode) in 80% van de functionaliteit van de OGC services kunnen voorzien, dan is dat toch voldoende?
Dan zijn de bestaande standaarden blijkbaar te complex. Doe daar dan wat aan, zou je denken. In diezelfde bijlage wordt echter ook aangegeven waarom het volgens Esri & Oracle niet mogelijk is de bestaande standaarden aan te passen: "While it would be possible to develop new versions of the OGC Web Services standards using a consistent framework and with support for JSON representations and a RESTful "binding", this will likely take significant time due to the unresolved REST-related discussion items, the current organization of OGC SWGs based on the individual standards and the fragmentation into separate standards."
Daarmee wordt dit voorstel aan het OGC een verzoek om in te stemmen met de bevinding dat de traagheid en fragmentatie van het OGC en haar Standard Working Groups (SWG's) daadkrachtige en samenhangende ontwikkeling van de standaarden onmogelijk maken. Breng dan maar gelijk een voorstel op tafel om het OGC helemaal af te schaffen!
Het is daarmee een testcase voor het OGC: willen het OGC de club zijn die voor iedere toepassing één standaard voorschrijft, of wordt er voor iedere toepassing een serie "standaarden" goedgekeurd. Net zoals de Nederlandse vereniging van huisvrouwen een keurmerk hanteerde, waaraan zowel Dreft als Dubro voldeden, en net zoals het Koninklijk Huis bij het uitdelen van het predicaat "Hofleverancier" ook geen exclusiviteit binnen een branche nastreeft.
Standaarden: je kunt er niet genoeg van hebben!
zondag 21 april 2013
van framework tot platform: instant geo-informatie
In de bijna dertig jaar dat GIS in Nederland wordt toegepast zijn er een aantal kantelmomenten geweest. Soms zie je dat aankomen, soms besef je dat pas achteraf. Eén zo'n kantelmoment speelde zich af aan het einde van de vorige eeuw. Mede door de komst van ArcView 2 en 3 beleefde GIS een doorbraakmoment: organisaties gingen zélf met GIS aan de slag, dat bleef niet langer beperkt tot een selectief gezelschap van fulltime GIS-experts.
Op de GIS Tech (herstel: de Esri GIS Tech. De in naam mede-organiserende AGGN moest ik met een lichtje zoeken, blijkbaar paste een gebruikerstrack niet meer in het nieuwe GIS Tech format), bespeurde ik ook zo'n essentiële verandering.
De focus bij Esri is al jaren geleden verschoven van softwareleverancier naar "leverancier van een platform" met aanpalende diensten, bedoeld om u te helpen geo-informatie succesvol in te zetten. Nu was dat platform in een recent verleden nog waardevrij: het was een framework, waar je je eigen data in kon, nee zelfs moest stoppen, en waaraan je je zelf verzonnen of goed gejatte analyses en cartografische presentaties kon ophangen. Met de stap van dat framework naar een platform hoef je je niet meer te bekommeren om data, en de templates voor kaarten en voorgebakken analyses zitten er ook al in. Handig!
Toch knaagt er wat. Als geo-professional zit ik liever zelf aan het stuur. (Dat ik me iedere werkdag van Hoofdstad naar Hofstad door machinist en conducteur laat vervoeren heeft met de reiskostenvergoedingspolicy van mijn werkgever te maken.) Ik wil weten wat voor data er in zit, wát die analyse doet en -niet onlogisch voor een cartograaf- heb ik mijn eigen ideeën over de wijze waarop de theorieën van Jacques Bertin en Jacob Nielsen tot een optimale geo/web-ervaring kunnen worden samengesmeed.
Zo'n kant-en-klaar platform kan best handig zijn hoor; open de verpakking, voeg wat water toe, 5 minuten op vol vermogen en je geovraagstuk is opgelost. Maar nog afgezien van het feit dat deze instant-aanpak leidt tot verhoging van de werkeloosheid onder geoprofessionals doet het ook weinig recht aan locatie (lees: organisatie) specifieke omstandigheden. Ieder vraagstuk-met-een-ruimtelijke-component (want we zouden niet meer van geo-vraagstukken spreken) wordt zo geuniformiseerd tot een hapklare eenheidsworst waar Mao en Jan Marijnissen hun vingers bij zouden aflikken.
"Met meer content wordt de afnemer meer content", lijkt het parool. Ik houd echter liever zelf wat te kiezen. Net zoals deze blog-omgeving voor mij een handig platform biedt, maar ik nog wel altijd met mijn eigen woorden zin aan de alinea's geef.
Op de GIS Tech (herstel: de Esri GIS Tech. De in naam mede-organiserende AGGN moest ik met een lichtje zoeken, blijkbaar paste een gebruikerstrack niet meer in het nieuwe GIS Tech format), bespeurde ik ook zo'n essentiële verandering.
De focus bij Esri is al jaren geleden verschoven van softwareleverancier naar "leverancier van een platform" met aanpalende diensten, bedoeld om u te helpen geo-informatie succesvol in te zetten. Nu was dat platform in een recent verleden nog waardevrij: het was een framework, waar je je eigen data in kon, nee zelfs moest stoppen, en waaraan je je zelf verzonnen of goed gejatte analyses en cartografische presentaties kon ophangen. Met de stap van dat framework naar een platform hoef je je niet meer te bekommeren om data, en de templates voor kaarten en voorgebakken analyses zitten er ook al in. Handig!
Toch knaagt er wat. Als geo-professional zit ik liever zelf aan het stuur. (Dat ik me iedere werkdag van Hoofdstad naar Hofstad door machinist en conducteur laat vervoeren heeft met de reiskostenvergoedingspolicy van mijn werkgever te maken.) Ik wil weten wat voor data er in zit, wát die analyse doet en -niet onlogisch voor een cartograaf- heb ik mijn eigen ideeën over de wijze waarop de theorieën van Jacques Bertin en Jacob Nielsen tot een optimale geo/web-ervaring kunnen worden samengesmeed.
Zo'n kant-en-klaar platform kan best handig zijn hoor; open de verpakking, voeg wat water toe, 5 minuten op vol vermogen en je geovraagstuk is opgelost. Maar nog afgezien van het feit dat deze instant-aanpak leidt tot verhoging van de werkeloosheid onder geoprofessionals doet het ook weinig recht aan locatie (lees: organisatie) specifieke omstandigheden. Ieder vraagstuk-met-een-ruimtelijke-component (want we zouden niet meer van geo-vraagstukken spreken) wordt zo geuniformiseerd tot een hapklare eenheidsworst waar Mao en Jan Marijnissen hun vingers bij zouden aflikken.
"Met meer content wordt de afnemer meer content", lijkt het parool. Ik houd echter liever zelf wat te kiezen. Net zoals deze blog-omgeving voor mij een handig platform biedt, maar ik nog wel altijd met mijn eigen woorden zin aan de alinea's geef.
maandag 11 maart 2013
Shapefiles zijn geen standaard
Shapefiles, dat zijn toch dé standaard GIS bestanden? Ieder weldenkend GIS-pakket leest en schrijft ze, en veel geo-professionals weten al amper meer dat het shape-formaat van origine uit de ontwikkelaarskelders van Esri afkomstig is.
Zodra je écht professioneel aan de gang gaat, met een dataset van serieuze omvang, is een geografische index onontbeerlijk. We zijn van de geo, maar nog te vaak doen we onze dierbare geometrieën te weinig eer door ze geen "spatial index" gunnen. Met veel koffiepauze tot gevolg, zelfs bij simpele teken- en identify-acties. Bij data die over het netwerk benaderd werd zag ik zelfs een snelheidswinst van een factor 15!
Wel is er wat vreemds aan de hand als je niet 100% Esri bent. Onze softwarebouwer uit Redlands is in de beroemde white paper uit 1998 waarin het shapefile formaat wordt beschreven "vergeten" de geografische index te beschrijven. Zodoende blijft die .sbn file ("oh, is die daarvoor!") een van de best bewaarde geheimen van de geowereld.
Zelfs Safe, de makers van FME, kennen dit geheim niet. Als gevolg daarvan moet jouw en mijn FME voor het aanmaken van een index uitwijken naar ArcGIS, indien op de PC aanwezig. Als ArcGIS niet op je PC staat, of er geen ArcGIS license vrij is, of ArcGIS als gevolg van applicatie-virtualisatie niet zichtbaar is voor FME kun je fluiten naar je spatial index. En daarmee naar een fatsoenlijke performance. Melk en suiker graag. En doe maar extra sterk.
In Open Source geo-land is dit tot op heden opgelost door dan zelf maar een geografische index op shapefiles te ontwikkelen. In de bekende OGR library en utilities wordt dezelfde .qix index gebruikt die al lang geleden voor Mapserver is ontwikkeld.
Ik typ "tot op heden", want door enthousiast reverse engineeren is het geheim van de "echte" shapefile index ontrafeld en wordt deze met ingang van versie 1.10 van de OGR programmerbibliotheek ondersteund. Da's goed nieuws, want die OGR library wordt in heel veel programma's gebruikt, onder meer in QGis, de Open Source tegenhanger van ArcMap. Vooralsnog overigens alleen bij leesacties, maar ik verwacht in de nabije toekomst ook het aanmaken/bijwerken van indexen in OGR.
Daarvoor zou het helpen als Esri de beschrijving van de indexen in een update van de genoemde whitepaper op zou nemen. Dat zou 15 jaar na het verschijnen van die white paper toch moeten kunnen.
Zodra je écht professioneel aan de gang gaat, met een dataset van serieuze omvang, is een geografische index onontbeerlijk. We zijn van de geo, maar nog te vaak doen we onze dierbare geometrieën te weinig eer door ze geen "spatial index" gunnen. Met veel koffiepauze tot gevolg, zelfs bij simpele teken- en identify-acties. Bij data die over het netwerk benaderd werd zag ik zelfs een snelheidswinst van een factor 15!
Wel is er wat vreemds aan de hand als je niet 100% Esri bent. Onze softwarebouwer uit Redlands is in de beroemde white paper uit 1998 waarin het shapefile formaat wordt beschreven "vergeten" de geografische index te beschrijven. Zodoende blijft die .sbn file ("oh, is die daarvoor!") een van de best bewaarde geheimen van de geowereld.
Zelfs Safe, de makers van FME, kennen dit geheim niet. Als gevolg daarvan moet jouw en mijn FME voor het aanmaken van een index uitwijken naar ArcGIS, indien op de PC aanwezig. Als ArcGIS niet op je PC staat, of er geen ArcGIS license vrij is, of ArcGIS als gevolg van applicatie-virtualisatie niet zichtbaar is voor FME kun je fluiten naar je spatial index. En daarmee naar een fatsoenlijke performance. Melk en suiker graag. En doe maar extra sterk.
In Open Source geo-land is dit tot op heden opgelost door dan zelf maar een geografische index op shapefiles te ontwikkelen. In de bekende OGR library en utilities wordt dezelfde .qix index gebruikt die al lang geleden voor Mapserver is ontwikkeld.
Ik typ "tot op heden", want door enthousiast reverse engineeren is het geheim van de "echte" shapefile index ontrafeld en wordt deze met ingang van versie 1.10 van de OGR programmerbibliotheek ondersteund. Da's goed nieuws, want die OGR library wordt in heel veel programma's gebruikt, onder meer in QGis, de Open Source tegenhanger van ArcMap. Vooralsnog overigens alleen bij leesacties, maar ik verwacht in de nabije toekomst ook het aanmaken/bijwerken van indexen in OGR.
Daarvoor zou het helpen als Esri de beschrijving van de indexen in een update van de genoemde whitepaper op zou nemen. Dat zou 15 jaar na het verschijnen van die white paper toch moeten kunnen.
donderdag 27 december 2012
Python en Workflow Foundation geven een nieuwe kijk op geo
2012 stond -net als de voorgaande jaren- wat geo betreft zo'n beetje in het teken van "hoe brengen we het vakgebied geo weer in contact met de grote (boze?) buitenwereld.
Op technisch gebied is dat al aardig aan het lukken. Oké, OGC services zijn nog vreemde eenden ín de algemene servicebijt, maar ik zie een tweetal ontwikkelingen die er voor zorgen dat in ieder geval geo-ict van het dak af komt:
De eerste is Python. Esri zet met ArcGIS 10 vol in op Python, niet alleen op de desktop maar met 10.1 ook als tool om ArcGIS services te scripten. Ook open source geoïsten die bijvoorbeeld QGIS gebruiken hebben Python al geruime tijd omarmd als favoriete scripttaal. En hardcore data-converteerders hebben sinds dit jaar in FME een volwaardige API.
De tweede is de gestage opmars van Microsoft's Workflow Foundation als de visuele (geo-)analyse-omgeving. AutoDesk Map 3D begon er in 2010 mee, GeoCortex' Essentials (en het daarvan afgeleidde GeoWeb) volgde al snel. Ik ben benieuwd of Esri al in ArcGIS versie 11 of pas in release 12 Modelbuilder aan de kant schuift ten faveure van deze meer standaard ontwikkelomgeving.
Het goede aan deze twee ontwikkelingen is dat ze de kracht van geo-ict gericht inzetten: niet de GIS omgeving als allround keukenmachine annex stofzuiger annex haardroger, maar een generieke scriptingtaal respectievelijk workflow management systeem die administratieve en geo-informatie en -processen vanuit hun eigen kracht aan elkaar weet te koppelen.
Daarmee zijn deze twee ontwikkelingen méér dan een technisch kunstje; ze vormen de technische voorbode van een nieuwe kijk op geo.
Op technisch gebied is dat al aardig aan het lukken. Oké, OGC services zijn nog vreemde eenden ín de algemene servicebijt, maar ik zie een tweetal ontwikkelingen die er voor zorgen dat in ieder geval geo-ict van het dak af komt:
De eerste is Python. Esri zet met ArcGIS 10 vol in op Python, niet alleen op de desktop maar met 10.1 ook als tool om ArcGIS services te scripten. Ook open source geoïsten die bijvoorbeeld QGIS gebruiken hebben Python al geruime tijd omarmd als favoriete scripttaal. En hardcore data-converteerders hebben sinds dit jaar in FME een volwaardige API.
De tweede is de gestage opmars van Microsoft's Workflow Foundation als de visuele (geo-)analyse-omgeving. AutoDesk Map 3D begon er in 2010 mee, GeoCortex' Essentials (en het daarvan afgeleidde GeoWeb) volgde al snel. Ik ben benieuwd of Esri al in ArcGIS versie 11 of pas in release 12 Modelbuilder aan de kant schuift ten faveure van deze meer standaard ontwikkelomgeving.
Het goede aan deze twee ontwikkelingen is dat ze de kracht van geo-ict gericht inzetten: niet de GIS omgeving als allround keukenmachine annex stofzuiger annex haardroger, maar een generieke scriptingtaal respectievelijk workflow management systeem die administratieve en geo-informatie en -processen vanuit hun eigen kracht aan elkaar weet te koppelen.
Daarmee zijn deze twee ontwikkelingen méér dan een technisch kunstje; ze vormen de technische voorbode van een nieuwe kijk op geo.
woensdag 19 december 2012
Geo maakt van een sociaal vraagstuk ten onrechte een ruimtelijk vraagstuk
Deze week hoorde ik op radio 1 een interview met Maarten van Ham, hoogleraar stedelijke vernieuwing en wonen aan de TU Delft. Van Ham betoogt dat sloop en nieuwbouw in een achterstandswijk weliswaar leidt tot het op termijn hoger scoren van die wijk op sociaal-economisch gebied, maar dat dat vooral komt omdat er hogere inkomens van buiten naar de buurt "geïmporteerd" worden en dat een deel van de oorspronkelijke bewoners van die wijk wordt "uitgeplaatst" naar andere wijken. De buurt gaat vooruit, maar de bewoners uit de nulmeting niet.
Dat is een scherpe analyse: in de achterstandswijkproblematiek wordt een verschijnsel met een ruimtelijke weerslag (of eigenlijk: met een ruimtelijk weer te geven component) te vaak benaderd als een probleem waarbij de ruimtelijke component de oorzaak is. Ook in de midterm review van het ISV (investeringsbudget stedelijke vernieuwing) lees ik die benadering: "hoewel stedelijke vernieuwing meer inhoudt dan alleen stenen stapelen zijn het fysieke investeringen die het meest in het oog springen."
Hier wordt een in oorsprong sociaal probleem (de achterstandssituatie van de bewoners) aangepakt alsof het een ruimtelijk probleem is (een achterstandssituatie van de wijk). Dat lijkt me een valkuil voor de sociale geografie. Die kuil wordt dieper naarmate zo'n vraagstuk meer vanuit een geo-informatie perspectief wordt benaderd, want een groot deel van het huidige GIS-generatie is uit het fysisch-geografische domein (het "groen/blauwe" domein) afkomstig. En in die tak van sport ligt een primair ruimtelijk gerichte benadering voor de hand.
De voorsprong die "geo" heeft met het toepassen van webservices versterkt deze geotunnelvisie. Zodra je sociale kenmerken als WMS of WFS gaat aanbieden suggereer je al bijna dat de ruimtelijke component de verklarende component is, terwijl het niet afzetten tegen een x- en y-as maar tegen demografische assen als verdeling naar geslacht en leeftijd wellicht veel relevanter is.
Gelukkig is de inhoud van CBS Statline ook als webservice. Lees de uitleg van Eugene Tjoa op regiohack.nl en een verdere uitleg op https://sites.google.com/site/opencbs/open-cbs en er gaat een wereld aan services en linked data voor je open. Mét een geografische component, maar niet als puur geografisch verschijnsel.
Dat is een scherpe analyse: in de achterstandswijkproblematiek wordt een verschijnsel met een ruimtelijke weerslag (of eigenlijk: met een ruimtelijk weer te geven component) te vaak benaderd als een probleem waarbij de ruimtelijke component de oorzaak is. Ook in de midterm review van het ISV (investeringsbudget stedelijke vernieuwing) lees ik die benadering: "hoewel stedelijke vernieuwing meer inhoudt dan alleen stenen stapelen zijn het fysieke investeringen die het meest in het oog springen."
Hier wordt een in oorsprong sociaal probleem (de achterstandssituatie van de bewoners) aangepakt alsof het een ruimtelijk probleem is (een achterstandssituatie van de wijk). Dat lijkt me een valkuil voor de sociale geografie. Die kuil wordt dieper naarmate zo'n vraagstuk meer vanuit een geo-informatie perspectief wordt benaderd, want een groot deel van het huidige GIS-generatie is uit het fysisch-geografische domein (het "groen/blauwe" domein) afkomstig. En in die tak van sport ligt een primair ruimtelijk gerichte benadering voor de hand.
De voorsprong die "geo" heeft met het toepassen van webservices versterkt deze geotunnelvisie. Zodra je sociale kenmerken als WMS of WFS gaat aanbieden suggereer je al bijna dat de ruimtelijke component de verklarende component is, terwijl het niet afzetten tegen een x- en y-as maar tegen demografische assen als verdeling naar geslacht en leeftijd wellicht veel relevanter is.
Gelukkig is de inhoud van CBS Statline ook als webservice. Lees de uitleg van Eugene Tjoa op regiohack.nl en een verdere uitleg op https://sites.google.com/site/opencbs/open-cbs en er gaat een wereld aan services en linked data voor je open. Mét een geografische component, maar niet als puur geografisch verschijnsel.
zondag 9 december 2012
Nederland kleurt aangepast blauw en rood
Op mijn geëxperimenteer met een anamorfose van Nederland op basis van de verkiezingsuitslagne heb ik diverse reacties gekregen via diverse kanalen.
Daarom heb ik nog wat verder zitten experimenteren, waarbij ik met ScapeToad meer vrijheid heb toegestaan qua vervorming. Dat leidt er toe dat de dichtbevolkte gemeenten relatief nog groter worden dan met mijn eerdere anamorfose.
Om de herkenbarheid (zeker met die extremere vervorming) te vergroten heb ik het transformatiegrid en de provinciegrenzen toegevoegd.
En om de PvdA en VVD kleuren neutraal te laten zijn ten opzichte van elkaar heb ik met colorbrewer een rood en blauw uitgezocht met dezelfde intensiteit. Dat leidde er toe dat ik het SP-rood nog donkerder moest maken om niet de suggestie te wekken dat Emile Roemers "eigen" Boxmeer in PvdA handen was gevallen.
Het resultaat:
En nu de volgende puzzel: hoe kan ik de "anamorfoseparameters" omwerken naar een eigen projectie die ik QGis en ArcMap on-the-fly kan gebruiken, bijvoorbeeld voor het toevoegen van extra kaartlagen ter oriëntatie.
Daarom heb ik nog wat verder zitten experimenteren, waarbij ik met ScapeToad meer vrijheid heb toegestaan qua vervorming. Dat leidt er toe dat de dichtbevolkte gemeenten relatief nog groter worden dan met mijn eerdere anamorfose.
Om de herkenbarheid (zeker met die extremere vervorming) te vergroten heb ik het transformatiegrid en de provinciegrenzen toegevoegd.
En om de PvdA en VVD kleuren neutraal te laten zijn ten opzichte van elkaar heb ik met colorbrewer een rood en blauw uitgezocht met dezelfde intensiteit. Dat leidde er toe dat ik het SP-rood nog donkerder moest maken om niet de suggestie te wekken dat Emile Roemers "eigen" Boxmeer in PvdA handen was gevallen.
Het resultaat:
En nu de volgende puzzel: hoe kan ik de "anamorfoseparameters" omwerken naar een eigen projectie die ik QGis en ArcMap on-the-fly kan gebruiken, bijvoorbeeld voor het toevoegen van extra kaartlagen ter oriëntatie.
woensdag 7 november 2012
Nederland kleurt blauw (of lijkt dat maar zo)
"Nederland kleurt blauw", zo klonk het toen in september 2012 gemeente na gemeente de verkiezingsuitslagen op het touchscreen van "Herman de schermman", en bij Google en Esri Nederland verschenen.
Maar waar was dat "blauw kleuren" eigenlijk op gebaseerd? Ten eerste op het on-Nederlandse "the winners takes al", oftewel: wie is de grootste partij in een gemeente. Dat is natuurlijk al een enorme vertekening: dankzij ons stelsel van evenredige vertegenwoordiging blijven de incidentele Bloemendaalse stem op de SP en de Boxmeerse VVD-voorkeur hun waarde behouden, in tegenstelling tot bij districtenstelsels zoals die in de VS en Engeland worden gehanteerd.
Een tweede, vaak onderbelichte, verkiezingsuitslagenvertekening komt voort het gebruik van de chorochromatische kaart voor een in wezen kwantitatief verschijnsel: weliswaar wordt er formeel een kwalitatief verschijnsel (de grootste partij per gemeente) weergegeven; de suggestie van de uitslagenkaart van Nederland is echter een kwantitatieve: "het blauw overheerst, dus de VVD is de grootste partij van Nederland".
Nu wordt de kaartlezer echter op het verkeerde spoor gezet: grote maar dunbevolkte plattelandsgemeenten als Noordoostpolder, Dronten en Bronkhorst overheersen het beeld, maar op basis van een beperkt aantal kiezers. De grote steden daarentegen zien hun honderduizenden kiezers maar op een klein stukje van de kaart terug. Voor Den Haag en Utrecht geldt dat het sterkst: hun gemeentelijk grondgebied is grotendeels met woningen volgebouwd; Rotterdam en Amsterdam krijgen nog wat vierkante millimeters op de kaart cadeau met hun uitgestrekte doch onbewooende haventerreinen en -voor de hoofdstad- een flink stuk landelijk Waterland. Maar ook dichtbevolkte gemeenten als Tilburg, Nijmegen en Almere mogen zich onderbedeeld voelen.
Daarom zocht ik naar een kaart die wél recht doet aan de verschillen in inwonerdichtheid, en die daarmee een reëeler beeld laat zien van de stemverhoudingen. Een figuratieve kaart zou kunnen, met in iedere gemeente een cirkel in de kleur van de grootste partij en met een diameter die ruwweg evenredig is met het aantal kiezers in die gemeente. Maar ik ben nooit zo weg van die "ballenkaarten".
Daarom ben ik gaan experimenteren met wat in het Engels een cartogram heet, wat in Nederland als anamorfose wordt aangeduid. (verwarrend: in Nederland is een kartogram vanoudsher een kaart met daarin per gebied een taart-, staaf- of lijndiagram). In de VS wordt die kaartvorm regelmatig toegepast om een waarheidsgetrouwer beeld te geven van presidentsverkiezingsuitslagen.
In mijn anamorfose is de grootte van de gemeenten gebaseerd op het totaal aantal uitgebrachte stemmen. Om wel een goed herkenbaar beeld te houden is de maximale vervorming beperkt. Daardoor is de uiteindelijke grootte van de gemeenten niet helemaal evenredig met het aantal stemmen, maar uiteraard wel ruimschoots meer daarmee in evenwicht dan in de uitgangssituatie met de klassieke ("echte") kaart.
De toepasbaarheid van een anamorfose voor Nederland wordt vergemakkelijkd door aanwezigheid van een een flink aantal markante punten heeft: de "uitsteeksels" die Zuid-Limburg en de Zeeuwse eilanden zijn blijven gemakkelijk herkenbaar, en ook de instulping aan de Duitse grens tussen Drenthe en Twente is een goed herkenningspunt. Bovendien bieden de Zeeuwse wateren en met name het IJsselmeer ruimte aan de Randstedelijke gemeenten om "uit te zetten".
De resultaten:
Maar waar was dat "blauw kleuren" eigenlijk op gebaseerd? Ten eerste op het on-Nederlandse "the winners takes al", oftewel: wie is de grootste partij in een gemeente. Dat is natuurlijk al een enorme vertekening: dankzij ons stelsel van evenredige vertegenwoordiging blijven de incidentele Bloemendaalse stem op de SP en de Boxmeerse VVD-voorkeur hun waarde behouden, in tegenstelling tot bij districtenstelsels zoals die in de VS en Engeland worden gehanteerd.
Een tweede, vaak onderbelichte, verkiezingsuitslagenvertekening komt voort het gebruik van de chorochromatische kaart voor een in wezen kwantitatief verschijnsel: weliswaar wordt er formeel een kwalitatief verschijnsel (de grootste partij per gemeente) weergegeven; de suggestie van de uitslagenkaart van Nederland is echter een kwantitatieve: "het blauw overheerst, dus de VVD is de grootste partij van Nederland".
Nu wordt de kaartlezer echter op het verkeerde spoor gezet: grote maar dunbevolkte plattelandsgemeenten als Noordoostpolder, Dronten en Bronkhorst overheersen het beeld, maar op basis van een beperkt aantal kiezers. De grote steden daarentegen zien hun honderduizenden kiezers maar op een klein stukje van de kaart terug. Voor Den Haag en Utrecht geldt dat het sterkst: hun gemeentelijk grondgebied is grotendeels met woningen volgebouwd; Rotterdam en Amsterdam krijgen nog wat vierkante millimeters op de kaart cadeau met hun uitgestrekte doch onbewooende haventerreinen en -voor de hoofdstad- een flink stuk landelijk Waterland. Maar ook dichtbevolkte gemeenten als Tilburg, Nijmegen en Almere mogen zich onderbedeeld voelen.
Daarom zocht ik naar een kaart die wél recht doet aan de verschillen in inwonerdichtheid, en die daarmee een reëeler beeld laat zien van de stemverhoudingen. Een figuratieve kaart zou kunnen, met in iedere gemeente een cirkel in de kleur van de grootste partij en met een diameter die ruwweg evenredig is met het aantal kiezers in die gemeente. Maar ik ben nooit zo weg van die "ballenkaarten".
Daarom ben ik gaan experimenteren met wat in het Engels een cartogram heet, wat in Nederland als anamorfose wordt aangeduid. (verwarrend: in Nederland is een kartogram vanoudsher een kaart met daarin per gebied een taart-, staaf- of lijndiagram). In de VS wordt die kaartvorm regelmatig toegepast om een waarheidsgetrouwer beeld te geven van presidentsverkiezingsuitslagen.
In mijn anamorfose is de grootte van de gemeenten gebaseerd op het totaal aantal uitgebrachte stemmen. Om wel een goed herkenbaar beeld te houden is de maximale vervorming beperkt. Daardoor is de uiteindelijke grootte van de gemeenten niet helemaal evenredig met het aantal stemmen, maar uiteraard wel ruimschoots meer daarmee in evenwicht dan in de uitgangssituatie met de klassieke ("echte") kaart.
De toepasbaarheid van een anamorfose voor Nederland wordt vergemakkelijkd door aanwezigheid van een een flink aantal markante punten heeft: de "uitsteeksels" die Zuid-Limburg en de Zeeuwse eilanden zijn blijven gemakkelijk herkenbaar, en ook de instulping aan de Duitse grens tussen Drenthe en Twente is een goed herkenningspunt. Bovendien bieden de Zeeuwse wateren en met name het IJsselmeer ruimte aan de Randstedelijke gemeenten om "uit te zetten".
De resultaten:
Wat levert de de anamorfose (links, maar dat had u waarschijnlijk al door) voor inzichten?
- Noord-Nederland houdt slechts dankzij "Stad" enige body op de anamorfose, het spaarzaam bevolkte Ommeland en Friesland en Drenthe verschrompelen tot minder dan de hefdt van zijn oorspronkelijke oppervlakte. Hierdoor wordt het "rode noorden" ruimschoots minder prominent aanwezig in het kaartbeeld;
- Daarentegen is in het Westen des lands de PvdA opvallender aanwezig: de dichtbevolkte G4, alsmede middelgrote gemeenten als Dordrecht, Leiden en Vlaardingen;
- Datzelfde geldt voor het Oosten: in de anamorfose zijn de PvdA stemmende stedelijke regios nu de evenknie van het liberale platteland, in plaats van rode eilandjes in een blauwe zee;
- Iets soortgelijk geldt voor Noord-Brabant, al blijven hier de steden Tilburg en Eindhoven rode eilanden in een zee van liberaal blauw
- Toevoegen van de grote waterwegen (Waal, IJssel, Amsterdam-Rijnkanaal) levert nog meer herkenningspunten op;
- Ook toevoegen van de provinciegrenzen kan hieraan bijdragen;
- Hier een webservice van maken die combineerbaar is met andere data is bijna onmogelijk. (ik heb het resultaat dan ook niet niet aan PDOK aangeboden);
- Het zou geweldig zijn een aantal Nederlande standaardanamorfosen (bijvoorbeeld op basis van inwonertal per gemeente) te genereren.
- De hoogste tijd om me ook weer eens te verdiepen in de CBS-statistieken per vierkant (100m en 500m). Eens kijken of daar iets vrolijks kartografisch me gedaan kan worden.
- Sowieso erg leuk om weer eens met kartografie bezig te zijn!
De technische werkwijze op een rijtje:
- Een shapefile met gemeentegrenzen (dankjewel CBS, via PDOK), geclipt met een landwatergrens om gemeentelijk ingedeeld Zeeuws, IJsselmeer- en Noordzeewater te "lozen": daardoor komen de markante vormen beter naar voren;
- Van de databank verkiezingsuitslagen een tabel met uitslagen inclusief aantal stemmers geplukt
- Met het programma ScapeToad de anamorfose gemaakt, op basis van het aantal stemmen per gemeente. Hierbij grotendeels de defaultwaarden aangehouden; naast de geanamorfeerde (?) shapefile levert dit als bonus een shapefile op met een rechthoekig grid dat op dezelfde wijze vervormd is;
- In Excel de tabel met verkiezingsuitslagen aangevuld met een kolom met de grootste partij per gemeente;
- De uit ScapeToad resulterende shapefile in QGIS 1.8 gecombineerd met deze tabel;
- Ter vergelijking hetzelfde gedaan met de originele gemeentegrenzen;
- Die twee kaarten gecombineerd in 1 QGIS layout en voorzien van titel en legenda;
- Geëxporteerd naar PNG (en omdat ik weet dat veel lezers van dit blog IE-versies lager dan 9 gebruiken en dus SVG niet kunnen lezen...)
Grenzeloos gemeentelijk herindelen: de multipolygonisering van Nederland
Het regeerakkoord van PvdA en VVD zegt dat gemeenten op termijn minimaal 100.000 inwoners moeten tellen. Er van uitgaande dat het opwekken van een enorme geboortegolf en het aanjagen van de immigratie geen serieuze opties zin wordt herindeling, het samenvoegen van gemeenten, het devies.
Ook zonder dwang van bovenaf maar op geheel vrijwillige basis vinden er gemeentelijke herindelingen plaats. Begin november presenteerden Alkmaar, Schermer en Graft-De Rijp hun herindelingsontwerp. Op zich niet heel bijzonder, zij het dat in de aanloop naar deze fusies van 3 gemeenten er even een bijna-unicum in zicht was. De gemeente Graft-De Rijp nam enige jaren terug het initiatief tot verkenning van fusiemogelijkheden, en liet zich daarbij niet beperken tot direct aaangrenzende gemeenten. In maart 2012 werd besloten tot een fusie met Alkmaar, ondanks dat beide gemeente geen grens delen. Pas 3 maanden later viel het besluit dat Schermer ook deel uit gaat maken van deze fusie, waardoor er toch weer een klassiek aaneengesloten gemeente grondgebied blijft bestaan.
Ik noem deze situatie een bijna-unicum omdat er op dit moment nog wel sprake is van één gemeentelijke exclave: het gebied Amsterdam Zuidoost is niet direct geografisch verbonden met de "moedergemeente" Amsterdam. Die situatie is ontstaan in 1966, toen de Bijlmermeer (destijds voorlopig) bij Amsterdam werd gevoegd.
Rotterdam had al vóór de Eerste Wereldoorlog een vergelijkbaar geval toen Hoek van Holland werd geannexeerd. Door latere annexatie van wat nu het Rotterdamse havengebied is is deze exclave alsnog aan de hoofdgemeente vastgegroeid, zij het fysiek gescheiden door de Nieuwe Waterweg. Slechts één dag per jaar, als de Maeslantkering wordt getest, is de Hoek wél verbonden met de Coolsingel.
In Den Haag is bij de gemeente herindeling begin deze eeuw de Vinex-exclave Leidschenveen-Ypenburg wel met een smalle corridor aan het oorspronkelijke Haagse grondgebied vastgemaakt. Dat kon relatief eenvoudig omdat deze corridor precies op de plaats ligt waar de gemeenten Rijswijk en Leidschendam-Voorburg aan elkaar grenzen, het is dus niet zo dat de Haagse corridor een doorsnijding van een andere gemeente verorzaakt.
Ik laat hier de curiositeit Baarle Nassau /Baarle Hertog voor het gemak even buiten beschouwing.
Terug naar de actualiteit. Waarom zouden bij de herindelingen de gebieden aan elkaar moeten grenzen? Goed, een samenvoeging van Sluis, Delfzijl en Kerkrade ligt niet voor de hand. Al komen ze gedrieën bijna aan de honderdduizend inwoners, en kennen ze in bevolkingskrimp een gezamenlijke problematiek. Maar als rond Amsterdam de gemeenten Waterland, Ouder-Amstel en Haarlemmerliede en Spaarwoude elkaar in de samenwerking kunnen vinden moet dat toch kunnen. En door de beoogde samenvoeging van de provincies Noord-Holland, Utrecht en Flevoland zouden Weesp en Muiden zich gemakkelijk bij deze fusie kunnen aansluiten. Mag ik de naam "Amsterdammerkarspel" voor deze groene gordel rond de hoofdstad voorstellen?
Het Minsterie van BZK heeft een beleidskader gemeentelijke herindeling opsteld waarin staat: "de aard van interne samenhang van de nieuw te vormen gemeente kan heel verchillende uitingsvormen hebben: cultureel, sociaal, economisch, geografisch, enzovoort." Er is dus geen bestuurlijk-topologische regel die voorschrijft dat een gemeente uit een aaneengesloten gebied moet bestaan. Wél vereist het oplettendheid bij de geobestandsbeheerders: die moeten even bedenken dat gemeenten multi-polygons zijn. Maar dat moesten ze al in verband met Amsterdam-Zuidoost.
Ook zonder dwang van bovenaf maar op geheel vrijwillige basis vinden er gemeentelijke herindelingen plaats. Begin november presenteerden Alkmaar, Schermer en Graft-De Rijp hun herindelingsontwerp. Op zich niet heel bijzonder, zij het dat in de aanloop naar deze fusies van 3 gemeenten er even een bijna-unicum in zicht was. De gemeente Graft-De Rijp nam enige jaren terug het initiatief tot verkenning van fusiemogelijkheden, en liet zich daarbij niet beperken tot direct aaangrenzende gemeenten. In maart 2012 werd besloten tot een fusie met Alkmaar, ondanks dat beide gemeente geen grens delen. Pas 3 maanden later viel het besluit dat Schermer ook deel uit gaat maken van deze fusie, waardoor er toch weer een klassiek aaneengesloten gemeente grondgebied blijft bestaan.
Ik noem deze situatie een bijna-unicum omdat er op dit moment nog wel sprake is van één gemeentelijke exclave: het gebied Amsterdam Zuidoost is niet direct geografisch verbonden met de "moedergemeente" Amsterdam. Die situatie is ontstaan in 1966, toen de Bijlmermeer (destijds voorlopig) bij Amsterdam werd gevoegd.
Rotterdam had al vóór de Eerste Wereldoorlog een vergelijkbaar geval toen Hoek van Holland werd geannexeerd. Door latere annexatie van wat nu het Rotterdamse havengebied is is deze exclave alsnog aan de hoofdgemeente vastgegroeid, zij het fysiek gescheiden door de Nieuwe Waterweg. Slechts één dag per jaar, als de Maeslantkering wordt getest, is de Hoek wél verbonden met de Coolsingel.
In Den Haag is bij de gemeente herindeling begin deze eeuw de Vinex-exclave Leidschenveen-Ypenburg wel met een smalle corridor aan het oorspronkelijke Haagse grondgebied vastgemaakt. Dat kon relatief eenvoudig omdat deze corridor precies op de plaats ligt waar de gemeenten Rijswijk en Leidschendam-Voorburg aan elkaar grenzen, het is dus niet zo dat de Haagse corridor een doorsnijding van een andere gemeente verorzaakt.
Ik laat hier de curiositeit Baarle Nassau /Baarle Hertog voor het gemak even buiten beschouwing.
Terug naar de actualiteit. Waarom zouden bij de herindelingen de gebieden aan elkaar moeten grenzen? Goed, een samenvoeging van Sluis, Delfzijl en Kerkrade ligt niet voor de hand. Al komen ze gedrieën bijna aan de honderdduizend inwoners, en kennen ze in bevolkingskrimp een gezamenlijke problematiek. Maar als rond Amsterdam de gemeenten Waterland, Ouder-Amstel en Haarlemmerliede en Spaarwoude elkaar in de samenwerking kunnen vinden moet dat toch kunnen. En door de beoogde samenvoeging van de provincies Noord-Holland, Utrecht en Flevoland zouden Weesp en Muiden zich gemakkelijk bij deze fusie kunnen aansluiten. Mag ik de naam "Amsterdammerkarspel" voor deze groene gordel rond de hoofdstad voorstellen?
Het Minsterie van BZK heeft een beleidskader gemeentelijke herindeling opsteld waarin staat: "de aard van interne samenhang van de nieuw te vormen gemeente kan heel verchillende uitingsvormen hebben: cultureel, sociaal, economisch, geografisch, enzovoort." Er is dus geen bestuurlijk-topologische regel die voorschrijft dat een gemeente uit een aaneengesloten gebied moet bestaan. Wél vereist het oplettendheid bij de geobestandsbeheerders: die moeten even bedenken dat gemeenten multi-polygons zijn. Maar dat moesten ze al in verband met Amsterdam-Zuidoost.
zaterdag 3 november 2012
Eén zaterdagse krantenbijlage, 3x geo
Zolang mijn abonnement op de Volkskrant nog duurt zijn er een aantal katernen die ik nog wel met belangstelling lees. "Vonk" is een van die bijlagen. In de grotendeels aan de Amerikaanse presidentsverkiezingen gewijdde editie van zaterdag 3 november bespeurde ik binnen de 7 artikelen en 3 columns maar liefst drie keer een substantieel geohalte.
Allereerst het artikel "Nederlanders kopen liever een billboard" waarin de marketingactiviteiten van Democraten en Republeinen wordt vergeleken met de bescheiden vaderlandse initiatieven op dit gebied. Dat heeft natuurlijk net zo'n hoog geomarketing gehalte als het verkopen van voetbaltijdschriften waarover ik enige weken geleden schreef.
Direct naast dat artikel de column "logisch" van Jonathan van het Reve over de verontwaardiging bij de SP over het gebruik van drones voor oorlogsvoering. Even los van dit morele aspect, het zal de lezers van dit blog duidelijk zijn dat die drones alleen maar kunnen functioneren dankzij GPS en daarop voortbordurende geo-ict technologie.
Een paar pagina's verderop een inventarisatie van de waarschijnlijke verdeling van kiesmannen tussen Obama en Romney. Graphics editor Erik d'Ailly maakte daar een fraaie infographic bij die het midden houdt tussen een kartogram en een anamorfose. Wat extra bijzonder is als je weet dat wat wij in Nederland een anamorfose noemen in het Engels een cartogram is...
Eén krant, één bijlage. Drie voorbeeld die vrijwel het complete spectrum van het vakgebied bestrijken. En dan heeft de geosector het nog moeilijk het vakgebied te "verkopen"? Of wil de geosector zich eigenlijk toch liever beperken tot het veilig afgebakende (!) terrein van inmeten en registreren?
Allereerst het artikel "Nederlanders kopen liever een billboard" waarin de marketingactiviteiten van Democraten en Republeinen wordt vergeleken met de bescheiden vaderlandse initiatieven op dit gebied. Dat heeft natuurlijk net zo'n hoog geomarketing gehalte als het verkopen van voetbaltijdschriften waarover ik enige weken geleden schreef.
Direct naast dat artikel de column "logisch" van Jonathan van het Reve over de verontwaardiging bij de SP over het gebruik van drones voor oorlogsvoering. Even los van dit morele aspect, het zal de lezers van dit blog duidelijk zijn dat die drones alleen maar kunnen functioneren dankzij GPS en daarop voortbordurende geo-ict technologie.
Een paar pagina's verderop een inventarisatie van de waarschijnlijke verdeling van kiesmannen tussen Obama en Romney. Graphics editor Erik d'Ailly maakte daar een fraaie infographic bij die het midden houdt tussen een kartogram en een anamorfose. Wat extra bijzonder is als je weet dat wat wij in Nederland een anamorfose noemen in het Engels een cartogram is...
Eén krant, één bijlage. Drie voorbeeld die vrijwel het complete spectrum van het vakgebied bestrijken. En dan heeft de geosector het nog moeilijk het vakgebied te "verkopen"? Of wil de geosector zich eigenlijk toch liever beperken tot het veilig afgebakende (!) terrein van inmeten en registreren?
woensdag 17 oktober 2012
Een weerzien met geomarketing: geen nieuws? Of toch?
Twee weken terug was ik met pakweg 75 belangstellenden aanwezig op het door Geodan en het Geomarketing Kenniscentrum (GKC) van de hoofdstedelijke VU georganiseerde geomarketingcongres 2012. Zelf ben ik pakweg 15 jaar geleden twee jaar lang werkzaam geweest in deze tak van sport, onder meer door het uitvoeren van vestigingsplaatsanalyses voor een grote hamburgerketen en het uitvoeren van performance analyses op onder meer vestigingen van bouwmarkten. Ja, de klantenkaarten (waaronder Airmiles) leverden aan het einde van de vorige eeuw al "big data" op.
Deze GIS-toepassingen staan mijlenver af van wat er ieder jaar op de door Esri geregisseerde hoogmis van de Nederlandse ArcGISwereld wordt getoond. Weliswaar was VU Jaap Boter vorig jaar keynote spreker op deze Rotterdamse GIS Conferentie, maar hij bleef er toch een vreemde eend in de bijt. Geomarkering en andere op statistiek leunende sociaal geografische toepassingen waren van oudsher ook meer het MapInfo domein. Importeurswisselingen in het verleden, en een kleinere markt maken dat er hiervoor geen qua omvang met de GIS conferentie vergelijkbaar platform bestaat, waardoor deze toepassingen voor de traditinele geosector in de categorie onbekend maakt onbemind blijven zitten.
Omgekeerd kun je natuurlijk ook redeneren dat de geomarketing GIS-toepassingen al zó volwasssen zijn dat ze niet als geotoepassing maar juist als geïntegreerd onderdeel van de marketinginformatiehuishouding worden gezien. Het feit dat in de recenste SPSS release (20) er (weer) een mapping module is opgenomen is een zwaar-geschut antwoord op de Esri Maps for Office waarmee de Excelgebruiker de wondere wereld van GIS in worden gelokt. Ondertussen blijkt Microsoft Mappoint, plugin voor Office ook nog steeds te bestaan. (Nog verder terug in de tijd: in Office 97 en 2000 zat er standaard een kaartfunctie in Excel!)
Op sommige punten is er in 15 jaar tijd niets veranderd: het klassieke op basis van 4-positie postcode op basis van onder meer lifestyle data in beeld brengen wat het klantenpotientieel is, en het weergeven van de omzet van een filiaal in diezelfde postcodegebieden blijkt voor een flink deel van de aanwezigen nog tot oooh's en aaah's te leiden. Uit het introfimpje maakte ik op dat daarbij onze landsgrenzen net als 15 jaar terug nog steeds informatiebarrieres zijn: de -ondanks de NMBS-treinstaking aanwezige- Vlamingen leken uit een geomarketing-technisch Terra Incognita te komen. Er zit natuurlijk ook niet veel geomarketing in de Inspirerichtlijn, slechts de afbakening van statistische eenheden en demografie zijn hiervoor van belang. Demografie volgens Inspire heeft zelfs grote potentie afhankelijk van de invulling van de gehanteerde omschrijving ("Geografische spreiding van de bevolking, met inbegrip van bevolkingskenmerken en activiteitsniveaus").
Wél vernieuwend zijn de micro-locatie toepassingen: in-store tracking (met behulp van RFID chips) van bezoekers in ECI boekwinkels, waar zowel in dagen van de week als in bezoekersgroep opvallende verschillen optreden in de route die door de winkel wordt afgelegd; Zo vinden er op iets grover schaalniveau ook geautomatiseerde passantentellingen plaats in enkele vaderlandse winkelstraten.
Verder is het altijd aardig om op zo'n dag in wat inhoud te duiken, ruimtelijke patronen te zien en over de oorzaak daarvan te filosoferen: ten behoeve van de (on)mogelijkheden van aan-huis bezorging en afleering bij de buren is er onderzocht hoe groot het vertrouwen is in de medemens: heel hoog in Beieren, heel laag in Wallonie en oostelijk Duitsland. Nederland scoort bovengemiddeld met uitschieters op de Veluwe (omhoog) en in Limburg (net zo laag als Wallonië). Da's weer leuke input voor een match met inkomen, geloof, politieke voorkeur etc.
Ook leuk: Weekbladpers heeft laten onderzoeken of hun titels Voetbal International (VI) en Hard Gras elkaar beconcurreren. Dat blijkt niet of nauwelijks het geval te zijn, maar wat mij in de gauwigheid opviel in de kaarten waarin de VI-leesgierigheid werd weergegeven was de hoge score voor Spakenburg en Volendam (beiden in de top 10, ook Katwijk en Urk scoren bovengemiddeld): zet vissen aan tot lezen over voetbal? Wordt de kibbeling en paling daar in een VI opgediend? Of is toch de aanwezigheid van de "blauwen en rooien" respectievelijk het "andere Oranje" stimulerend voor de VI-verkoop?
Leuke inzichten, die allemaal weer vervolgvragen met zich mee dragen. Jammer dat lifestyledata nog niet zo open is, anders zou ik me er vele regenachtige middagen mee kunnen vermaken!
Nb. Op http://www.geodan.nl/markten/zakelijkemarkt/geomarketingcongres-2012/terugblik-geomarketingcongres-3-oktober-2012/ zijn Twitterfeed en presentaties na te lezen.
Deze GIS-toepassingen staan mijlenver af van wat er ieder jaar op de door Esri geregisseerde hoogmis van de Nederlandse ArcGISwereld wordt getoond. Weliswaar was VU Jaap Boter vorig jaar keynote spreker op deze Rotterdamse GIS Conferentie, maar hij bleef er toch een vreemde eend in de bijt. Geomarkering en andere op statistiek leunende sociaal geografische toepassingen waren van oudsher ook meer het MapInfo domein. Importeurswisselingen in het verleden, en een kleinere markt maken dat er hiervoor geen qua omvang met de GIS conferentie vergelijkbaar platform bestaat, waardoor deze toepassingen voor de traditinele geosector in de categorie onbekend maakt onbemind blijven zitten.
Omgekeerd kun je natuurlijk ook redeneren dat de geomarketing GIS-toepassingen al zó volwasssen zijn dat ze niet als geotoepassing maar juist als geïntegreerd onderdeel van de marketinginformatiehuishouding worden gezien. Het feit dat in de recenste SPSS release (20) er (weer) een mapping module is opgenomen is een zwaar-geschut antwoord op de Esri Maps for Office waarmee de Excelgebruiker de wondere wereld van GIS in worden gelokt. Ondertussen blijkt Microsoft Mappoint, plugin voor Office ook nog steeds te bestaan. (Nog verder terug in de tijd: in Office 97 en 2000 zat er standaard een kaartfunctie in Excel!)
Op sommige punten is er in 15 jaar tijd niets veranderd: het klassieke op basis van 4-positie postcode op basis van onder meer lifestyle data in beeld brengen wat het klantenpotientieel is, en het weergeven van de omzet van een filiaal in diezelfde postcodegebieden blijkt voor een flink deel van de aanwezigen nog tot oooh's en aaah's te leiden. Uit het introfimpje maakte ik op dat daarbij onze landsgrenzen net als 15 jaar terug nog steeds informatiebarrieres zijn: de -ondanks de NMBS-treinstaking aanwezige- Vlamingen leken uit een geomarketing-technisch Terra Incognita te komen. Er zit natuurlijk ook niet veel geomarketing in de Inspirerichtlijn, slechts de afbakening van statistische eenheden en demografie zijn hiervoor van belang. Demografie volgens Inspire heeft zelfs grote potentie afhankelijk van de invulling van de gehanteerde omschrijving ("Geografische spreiding van de bevolking, met inbegrip van bevolkingskenmerken en activiteitsniveaus").
Wél vernieuwend zijn de micro-locatie toepassingen: in-store tracking (met behulp van RFID chips) van bezoekers in ECI boekwinkels, waar zowel in dagen van de week als in bezoekersgroep opvallende verschillen optreden in de route die door de winkel wordt afgelegd; Zo vinden er op iets grover schaalniveau ook geautomatiseerde passantentellingen plaats in enkele vaderlandse winkelstraten.
Verder is het altijd aardig om op zo'n dag in wat inhoud te duiken, ruimtelijke patronen te zien en over de oorzaak daarvan te filosoferen: ten behoeve van de (on)mogelijkheden van aan-huis bezorging en afleering bij de buren is er onderzocht hoe groot het vertrouwen is in de medemens: heel hoog in Beieren, heel laag in Wallonie en oostelijk Duitsland. Nederland scoort bovengemiddeld met uitschieters op de Veluwe (omhoog) en in Limburg (net zo laag als Wallonië). Da's weer leuke input voor een match met inkomen, geloof, politieke voorkeur etc.
Ook leuk: Weekbladpers heeft laten onderzoeken of hun titels Voetbal International (VI) en Hard Gras elkaar beconcurreren. Dat blijkt niet of nauwelijks het geval te zijn, maar wat mij in de gauwigheid opviel in de kaarten waarin de VI-leesgierigheid werd weergegeven was de hoge score voor Spakenburg en Volendam (beiden in de top 10, ook Katwijk en Urk scoren bovengemiddeld): zet vissen aan tot lezen over voetbal? Wordt de kibbeling en paling daar in een VI opgediend? Of is toch de aanwezigheid van de "blauwen en rooien" respectievelijk het "andere Oranje" stimulerend voor de VI-verkoop?
Leuke inzichten, die allemaal weer vervolgvragen met zich mee dragen. Jammer dat lifestyledata nog niet zo open is, anders zou ik me er vele regenachtige middagen mee kunnen vermaken!
Nb. Op http://www.geodan.nl/markten/zakelijkemarkt/geomarketingcongres-2012/terugblik-geomarketingcongres-3-oktober-2012/ zijn Twitterfeed en presentaties na te lezen.
"Waar is de BAG, hier is de BAG!" : de BAG als ultieme geocache
Sinds de brede verspreiding van goedkope GPS ontvangers is geocaching een populair tijdverdrijf geworden: verstop een schat in een holle boom, gat in de grond of onder je deurmat, en geef wat aanwijzingen waarmee de schatzoekers op pad kunnen gaan. Die aanwijzingen kunnen de coördinaten van de vindplaats zijn, maar leuker en spannender is het als er tussendoor puzzels moeten worden opgelost, opdrachten worden vervuld en wat al niet meer.
Terzijde wat historisch besef: Kees van Kooten en Wim de Bie introduceerden het fenomeen in 1984 door een kistje met een duizendje (gulden!) bij de Pyramide van Austerlitz te begraven. Dat gaf 's nachts nogal wat reuring op de Utrechtse Heuvelrug, zoals het "Volksdagblad de Waarheid" de dag er na berichtte. Andere tijden!
Voor App bouwers die met open data aan de slag willen is een lijst met coördinaten van de Nederlandse adressen de ultieme heilige graal. Aangezien de rijksoverheid openheid en waardecreatie heel belangrijk vind is de basisregistratie adressen en gebouwen (BAG) als open data beschikbaar gesteld. Nou ja, je moest nog wel even 150 euro bij wijze van verstrekkingskosten bij het Kadaster achterlaten, en per maandelijkse update nog eens 10 euro betalen. Maar daar krijg je wel 8 miljoen adressen voor terug, dus per adres eigenlijk een schijntje.
Sinds medio juni kun je die 150 euro en dat maandelijkse tientje in de pocket houden door gebruik te maken van de gratis versie zoals aangeboden door de geomotor van Nederland: PDOK. Om het leuk en spannend te maken moet je ook hier wat raadsels oplossen.
Na je vingers blauw getypt te hebben aan de URL www.nationaalgeoregister.nl en vervolgens "adressen" als zoekterm te hebben ingevoerd verschijnt een lijstje van 18 hits. Eentje scoort een relevantie van 100%, de overige 17 0%. Dat zou je op het verkeerde been kunnen zetten, gewoon negeren is het beste. In de top 5 staan een "Inspire View Service PDOK voor (..) adressen (..)", "adressen", "adressen WMS", "Inspire adressen WFS", en op 5 de eerste commerciële aanbieder (BridGIS) met "adresservice".
Die "view service" en "WMS" (beide van de Rijksoverheid) blijken evenals de "adressen" van Kadaster services te zijn die alleen een plaatje opleveren, waarvan de URL die naar de webservice stuit op een "error 404 - not found". Vooruit, een aanwijzing: type "request=getcapabilites" achter die URL en je krijgt er wel allerlei inhoudelijke en technische informatie over.
Maar we willen echte data, dus die WFS lijkt wel wat. en inderdaad, na wat gepuzzle levert de URL http://geodata.nationaalgeoregister.nl/inspireadressen/wfs?request=getFeature&typename=inspireadressen&outputformat=JSON 4Mb aan download op. Helaas levert het PDOK motortje maximaal 15.000 objecten per request, dus om via deze weg heel Nederland bij elkaar te sparen moet je zo'n 1000 requests afvuren en daarbij bijvoorbeeld telkens een andere bounding box opgeven. Dat gaat 'm niet worden.
Nog even terug naar de NGR-hitlist dan maar, en verdomd, verstopt op nummer 7 staat daar een "Inspire Download Service van adressen (inspire adressen)". klikkerdeklik, dat leidt naar http://geodata.nationaalgeoregister.nl/inspireadressen/atom/inspireadressen.xml Kijk, nu wordt het wat: complete BAG-n van een 4 tal datums, met als meest recente 8 augustus. Downloaden maar, en ja hoor, en stroomt 1.3 Gb naar binnen. Die kwantiteit is een goed voorteken! Na unzippen blijkt er naast 7 ZIPfiles een leveringsdocument-BAG-extract.xml in te zitten. Als ik daar in puzzel zie ik onder meer dat het draaimoment van deze dataset 8 augustus, half tien 's ochtends is.
(Wanneer de volgende zending komt is niet geheel duidelijk; er zat een regelmaat van 1x per maand in, na 8 augustus is de aanvoer stilgevallen. Als het goed is hoor ik binnenkort van het Kadaster meer over het leveringsplan)
Maar liefst 7 zipfiles heb ik nu. Eén met STA in de naam, een NUM, een PND een OPR een WPL, een LIG en een VBO. Dankzij Herko Coomans' onvolprezen "Hitchhikers Guide to the BAG" weet ik dat er nummers, panden, woonplaatsen, verblijfsobjecten, standplaatsen en ligplaatsen in moeten zitten, dus dat puzzeltje valt ook wel op te lossen.
Nog wel wat lastig dat die 7 zips soms weer uit meer dan één XML met de echte inhoud bestaan, omdat er een maximale grootte van 20 Mb per bestand is gehanteerd, dus dat weer even aan elkaar metselen. Gelukkig is er voor die technische puzzels uit de vorig alinea een kant-en-klare oplossing om het hele spul in een PostGIS database te prakken: nlextract.
Kortom, de geocache die BAG heet is gevonden. Champagne, ballonnen! Op nar de volgende geoschat, want zo'n inhoudeljke en technische geospeurtocht smaakt naar meer.
(voordeze usecase het verslag van deze "geocache" heb ik me onder meer laten inspireren door Erik Romijn's verhaal "De Weg Kwijt? De Zoektocht van een App Maker door Geo-informatiesystemen" op de OSGeo.nl dag op 28 juni in Velp en vele vragen op Twitter en LinkedIn van "neo-geo's die zich een slag in de rondte zochten naar de BAG.
Terzijde wat historisch besef: Kees van Kooten en Wim de Bie introduceerden het fenomeen in 1984 door een kistje met een duizendje (gulden!) bij de Pyramide van Austerlitz te begraven. Dat gaf 's nachts nogal wat reuring op de Utrechtse Heuvelrug, zoals het "Volksdagblad de Waarheid" de dag er na berichtte. Andere tijden!
Voor App bouwers die met open data aan de slag willen is een lijst met coördinaten van de Nederlandse adressen de ultieme heilige graal. Aangezien de rijksoverheid openheid en waardecreatie heel belangrijk vind is de basisregistratie adressen en gebouwen (BAG) als open data beschikbaar gesteld. Nou ja, je moest nog wel even 150 euro bij wijze van verstrekkingskosten bij het Kadaster achterlaten, en per maandelijkse update nog eens 10 euro betalen. Maar daar krijg je wel 8 miljoen adressen voor terug, dus per adres eigenlijk een schijntje.
Sinds medio juni kun je die 150 euro en dat maandelijkse tientje in de pocket houden door gebruik te maken van de gratis versie zoals aangeboden door de geomotor van Nederland: PDOK. Om het leuk en spannend te maken moet je ook hier wat raadsels oplossen.
Na je vingers blauw getypt te hebben aan de URL www.nationaalgeoregister.nl en vervolgens "adressen" als zoekterm te hebben ingevoerd verschijnt een lijstje van 18 hits. Eentje scoort een relevantie van 100%, de overige 17 0%. Dat zou je op het verkeerde been kunnen zetten, gewoon negeren is het beste. In de top 5 staan een "Inspire View Service PDOK voor (..) adressen (..)", "adressen", "adressen WMS", "Inspire adressen WFS", en op 5 de eerste commerciële aanbieder (BridGIS) met "adresservice".
Die "view service" en "WMS" (beide van de Rijksoverheid) blijken evenals de "adressen" van Kadaster services te zijn die alleen een plaatje opleveren, waarvan de URL die naar de webservice stuit op een "error 404 - not found". Vooruit, een aanwijzing: type "request=getcapabilites" achter die URL en je krijgt er wel allerlei inhoudelijke en technische informatie over.
Maar we willen echte data, dus die WFS lijkt wel wat. en inderdaad, na wat gepuzzle levert de URL http://geodata.nationaalgeoregister.nl/inspireadressen/wfs?request=getFeature&typename=inspireadressen&outputformat=JSON 4Mb aan download op. Helaas levert het PDOK motortje maximaal 15.000 objecten per request, dus om via deze weg heel Nederland bij elkaar te sparen moet je zo'n 1000 requests afvuren en daarbij bijvoorbeeld telkens een andere bounding box opgeven. Dat gaat 'm niet worden.
Nog even terug naar de NGR-hitlist dan maar, en verdomd, verstopt op nummer 7 staat daar een "Inspire Download Service van adressen (inspire adressen)". klikkerdeklik, dat leidt naar http://geodata.nationaalgeoregister.nl/inspireadressen/atom/inspireadressen.xml Kijk, nu wordt het wat: complete BAG-n van een 4 tal datums, met als meest recente 8 augustus. Downloaden maar, en ja hoor, en stroomt 1.3 Gb naar binnen. Die kwantiteit is een goed voorteken! Na unzippen blijkt er naast 7 ZIPfiles een leveringsdocument-BAG-extract.xml in te zitten. Als ik daar in puzzel zie ik onder meer dat het draaimoment van deze dataset 8 augustus, half tien 's ochtends is.
(Wanneer de volgende zending komt is niet geheel duidelijk; er zat een regelmaat van 1x per maand in, na 8 augustus is de aanvoer stilgevallen. Als het goed is hoor ik binnenkort van het Kadaster meer over het leveringsplan)
Maar liefst 7 zipfiles heb ik nu. Eén met STA in de naam, een NUM, een PND een OPR een WPL, een LIG en een VBO. Dankzij Herko Coomans' onvolprezen "Hitchhikers Guide to the BAG" weet ik dat er nummers, panden, woonplaatsen, verblijfsobjecten, standplaatsen en ligplaatsen in moeten zitten, dus dat puzzeltje valt ook wel op te lossen.
Nog wel wat lastig dat die 7 zips soms weer uit meer dan één XML met de echte inhoud bestaan, omdat er een maximale grootte van 20 Mb per bestand is gehanteerd, dus dat weer even aan elkaar metselen. Gelukkig is er voor die technische puzzels uit de vorig alinea een kant-en-klare oplossing om het hele spul in een PostGIS database te prakken: nlextract.
Kortom, de geocache die BAG heet is gevonden. Champagne, ballonnen! Op nar de volgende geoschat, want zo'n inhoudeljke en technische geospeurtocht smaakt naar meer.
(voor
Abonneren op:
Posts (Atom)