Twee weken terug was ik met pakweg 75 belangstellenden aanwezig op het door Geodan en het Geomarketing Kenniscentrum (GKC) van de hoofdstedelijke VU georganiseerde geomarketingcongres 2012. Zelf ben ik pakweg 15 jaar geleden twee jaar lang werkzaam geweest in deze tak van sport, onder meer door het uitvoeren van vestigingsplaatsanalyses voor een grote hamburgerketen en het uitvoeren van performance analyses op onder meer vestigingen van bouwmarkten. Ja, de klantenkaarten (waaronder Airmiles) leverden aan het einde van de vorige eeuw al "big data" op.
Deze GIS-toepassingen staan mijlenver af van wat er ieder jaar op de door Esri geregisseerde hoogmis van de Nederlandse ArcGISwereld wordt getoond. Weliswaar was VU Jaap Boter vorig jaar keynote spreker op deze Rotterdamse GIS Conferentie, maar hij bleef er toch een vreemde eend in de bijt. Geomarkering en andere op statistiek leunende sociaal geografische toepassingen waren van oudsher ook meer het MapInfo domein. Importeurswisselingen in het verleden, en een kleinere markt maken dat er hiervoor geen qua omvang met de GIS conferentie vergelijkbaar platform bestaat, waardoor deze toepassingen voor de traditinele geosector in de categorie onbekend maakt onbemind blijven zitten.
Omgekeerd kun je natuurlijk ook redeneren dat de geomarketing GIS-toepassingen al zó volwasssen zijn dat ze niet als geotoepassing maar juist als geïntegreerd onderdeel van de marketinginformatiehuishouding worden gezien. Het feit dat in de recenste SPSS release (20) er (weer) een mapping module is opgenomen is een zwaar-geschut antwoord op de Esri Maps for Office waarmee de Excelgebruiker de wondere wereld van GIS in worden gelokt. Ondertussen blijkt Microsoft Mappoint, plugin voor Office ook nog steeds te bestaan. (Nog verder terug in de tijd: in Office 97 en 2000 zat er standaard een kaartfunctie in Excel!)
Op sommige punten is er in 15 jaar tijd niets veranderd: het klassieke op basis van 4-positie postcode op basis van onder meer lifestyle data in beeld brengen wat het klantenpotientieel is, en het weergeven van de omzet van een filiaal in diezelfde postcodegebieden blijkt voor een flink deel van de aanwezigen nog tot oooh's en aaah's te leiden. Uit het introfimpje maakte ik op dat daarbij onze landsgrenzen net als 15 jaar terug nog steeds informatiebarrieres zijn: de -ondanks de NMBS-treinstaking aanwezige- Vlamingen leken uit een geomarketing-technisch Terra Incognita te komen. Er zit natuurlijk ook niet veel geomarketing in de Inspirerichtlijn, slechts de afbakening van statistische eenheden en demografie zijn hiervoor van belang. Demografie volgens Inspire heeft zelfs grote potentie afhankelijk van de invulling van de gehanteerde omschrijving ("Geografische spreiding van de bevolking, met inbegrip van bevolkingskenmerken en activiteitsniveaus").
Wél vernieuwend zijn de micro-locatie toepassingen: in-store tracking (met behulp van RFID chips) van bezoekers in ECI boekwinkels, waar zowel in dagen van de week als in bezoekersgroep opvallende verschillen optreden in de route die door de winkel wordt afgelegd; Zo vinden er op iets grover schaalniveau ook geautomatiseerde passantentellingen plaats in enkele vaderlandse winkelstraten.
Verder is het altijd aardig om op zo'n dag in wat inhoud te duiken, ruimtelijke patronen te zien en over de oorzaak daarvan te filosoferen: ten behoeve van de (on)mogelijkheden van aan-huis bezorging en afleering bij de buren is er onderzocht hoe groot het vertrouwen is in de medemens: heel hoog in Beieren, heel laag in Wallonie en oostelijk Duitsland. Nederland scoort bovengemiddeld met uitschieters op de Veluwe (omhoog) en in Limburg (net zo laag als Wallonië). Da's weer leuke input voor een match met inkomen, geloof, politieke voorkeur etc.
Ook leuk: Weekbladpers heeft laten onderzoeken of hun titels Voetbal International (VI) en Hard Gras elkaar beconcurreren. Dat blijkt niet of nauwelijks het geval te zijn, maar wat mij in de gauwigheid opviel in de kaarten waarin de VI-leesgierigheid werd weergegeven was de hoge score voor Spakenburg en Volendam (beiden in de top 10, ook Katwijk en Urk scoren bovengemiddeld): zet vissen aan tot lezen over voetbal? Wordt de kibbeling en paling daar in een VI opgediend? Of is toch de aanwezigheid van de "blauwen en rooien" respectievelijk het "andere Oranje" stimulerend voor de VI-verkoop?
Leuke inzichten, die allemaal weer vervolgvragen met zich mee dragen. Jammer dat lifestyledata nog niet zo open is, anders zou ik me er vele regenachtige middagen mee kunnen vermaken!
Nb. Op http://www.geodan.nl/markten/zakelijkemarkt/geomarketingcongres-2012/terugblik-geomarketingcongres-3-oktober-2012/ zijn Twitterfeed en presentaties na te lezen.
woensdag 17 oktober 2012
"Waar is de BAG, hier is de BAG!" : de BAG als ultieme geocache
Sinds de brede verspreiding van goedkope GPS ontvangers is geocaching een populair tijdverdrijf geworden: verstop een schat in een holle boom, gat in de grond of onder je deurmat, en geef wat aanwijzingen waarmee de schatzoekers op pad kunnen gaan. Die aanwijzingen kunnen de coördinaten van de vindplaats zijn, maar leuker en spannender is het als er tussendoor puzzels moeten worden opgelost, opdrachten worden vervuld en wat al niet meer.
Terzijde wat historisch besef: Kees van Kooten en Wim de Bie introduceerden het fenomeen in 1984 door een kistje met een duizendje (gulden!) bij de Pyramide van Austerlitz te begraven. Dat gaf 's nachts nogal wat reuring op de Utrechtse Heuvelrug, zoals het "Volksdagblad de Waarheid" de dag er na berichtte. Andere tijden!
Voor App bouwers die met open data aan de slag willen is een lijst met coördinaten van de Nederlandse adressen de ultieme heilige graal. Aangezien de rijksoverheid openheid en waardecreatie heel belangrijk vind is de basisregistratie adressen en gebouwen (BAG) als open data beschikbaar gesteld. Nou ja, je moest nog wel even 150 euro bij wijze van verstrekkingskosten bij het Kadaster achterlaten, en per maandelijkse update nog eens 10 euro betalen. Maar daar krijg je wel 8 miljoen adressen voor terug, dus per adres eigenlijk een schijntje.
Sinds medio juni kun je die 150 euro en dat maandelijkse tientje in de pocket houden door gebruik te maken van de gratis versie zoals aangeboden door de geomotor van Nederland: PDOK. Om het leuk en spannend te maken moet je ook hier wat raadsels oplossen.
Na je vingers blauw getypt te hebben aan de URL www.nationaalgeoregister.nl en vervolgens "adressen" als zoekterm te hebben ingevoerd verschijnt een lijstje van 18 hits. Eentje scoort een relevantie van 100%, de overige 17 0%. Dat zou je op het verkeerde been kunnen zetten, gewoon negeren is het beste. In de top 5 staan een "Inspire View Service PDOK voor (..) adressen (..)", "adressen", "adressen WMS", "Inspire adressen WFS", en op 5 de eerste commerciële aanbieder (BridGIS) met "adresservice".
Die "view service" en "WMS" (beide van de Rijksoverheid) blijken evenals de "adressen" van Kadaster services te zijn die alleen een plaatje opleveren, waarvan de URL die naar de webservice stuit op een "error 404 - not found". Vooruit, een aanwijzing: type "request=getcapabilites" achter die URL en je krijgt er wel allerlei inhoudelijke en technische informatie over.
Maar we willen echte data, dus die WFS lijkt wel wat. en inderdaad, na wat gepuzzle levert de URL http://geodata.nationaalgeoregister.nl/inspireadressen/wfs?request=getFeature&typename=inspireadressen&outputformat=JSON 4Mb aan download op. Helaas levert het PDOK motortje maximaal 15.000 objecten per request, dus om via deze weg heel Nederland bij elkaar te sparen moet je zo'n 1000 requests afvuren en daarbij bijvoorbeeld telkens een andere bounding box opgeven. Dat gaat 'm niet worden.
Nog even terug naar de NGR-hitlist dan maar, en verdomd, verstopt op nummer 7 staat daar een "Inspire Download Service van adressen (inspire adressen)". klikkerdeklik, dat leidt naar http://geodata.nationaalgeoregister.nl/inspireadressen/atom/inspireadressen.xml Kijk, nu wordt het wat: complete BAG-n van een 4 tal datums, met als meest recente 8 augustus. Downloaden maar, en ja hoor, en stroomt 1.3 Gb naar binnen. Die kwantiteit is een goed voorteken! Na unzippen blijkt er naast 7 ZIPfiles een leveringsdocument-BAG-extract.xml in te zitten. Als ik daar in puzzel zie ik onder meer dat het draaimoment van deze dataset 8 augustus, half tien 's ochtends is.
(Wanneer de volgende zending komt is niet geheel duidelijk; er zat een regelmaat van 1x per maand in, na 8 augustus is de aanvoer stilgevallen. Als het goed is hoor ik binnenkort van het Kadaster meer over het leveringsplan)
Maar liefst 7 zipfiles heb ik nu. Eén met STA in de naam, een NUM, een PND een OPR een WPL, een LIG en een VBO. Dankzij Herko Coomans' onvolprezen "Hitchhikers Guide to the BAG" weet ik dat er nummers, panden, woonplaatsen, verblijfsobjecten, standplaatsen en ligplaatsen in moeten zitten, dus dat puzzeltje valt ook wel op te lossen.
Nog wel wat lastig dat die 7 zips soms weer uit meer dan één XML met de echte inhoud bestaan, omdat er een maximale grootte van 20 Mb per bestand is gehanteerd, dus dat weer even aan elkaar metselen. Gelukkig is er voor die technische puzzels uit de vorig alinea een kant-en-klare oplossing om het hele spul in een PostGIS database te prakken: nlextract.
Kortom, de geocache die BAG heet is gevonden. Champagne, ballonnen! Op nar de volgende geoschat, want zo'n inhoudeljke en technische geospeurtocht smaakt naar meer.
(voordeze usecase het verslag van deze "geocache" heb ik me onder meer laten inspireren door Erik Romijn's verhaal "De Weg Kwijt? De Zoektocht van een App Maker door Geo-informatiesystemen" op de OSGeo.nl dag op 28 juni in Velp en vele vragen op Twitter en LinkedIn van "neo-geo's die zich een slag in de rondte zochten naar de BAG.
Terzijde wat historisch besef: Kees van Kooten en Wim de Bie introduceerden het fenomeen in 1984 door een kistje met een duizendje (gulden!) bij de Pyramide van Austerlitz te begraven. Dat gaf 's nachts nogal wat reuring op de Utrechtse Heuvelrug, zoals het "Volksdagblad de Waarheid" de dag er na berichtte. Andere tijden!
Voor App bouwers die met open data aan de slag willen is een lijst met coördinaten van de Nederlandse adressen de ultieme heilige graal. Aangezien de rijksoverheid openheid en waardecreatie heel belangrijk vind is de basisregistratie adressen en gebouwen (BAG) als open data beschikbaar gesteld. Nou ja, je moest nog wel even 150 euro bij wijze van verstrekkingskosten bij het Kadaster achterlaten, en per maandelijkse update nog eens 10 euro betalen. Maar daar krijg je wel 8 miljoen adressen voor terug, dus per adres eigenlijk een schijntje.
Sinds medio juni kun je die 150 euro en dat maandelijkse tientje in de pocket houden door gebruik te maken van de gratis versie zoals aangeboden door de geomotor van Nederland: PDOK. Om het leuk en spannend te maken moet je ook hier wat raadsels oplossen.
Na je vingers blauw getypt te hebben aan de URL www.nationaalgeoregister.nl en vervolgens "adressen" als zoekterm te hebben ingevoerd verschijnt een lijstje van 18 hits. Eentje scoort een relevantie van 100%, de overige 17 0%. Dat zou je op het verkeerde been kunnen zetten, gewoon negeren is het beste. In de top 5 staan een "Inspire View Service PDOK voor (..) adressen (..)", "adressen", "adressen WMS", "Inspire adressen WFS", en op 5 de eerste commerciële aanbieder (BridGIS) met "adresservice".
Die "view service" en "WMS" (beide van de Rijksoverheid) blijken evenals de "adressen" van Kadaster services te zijn die alleen een plaatje opleveren, waarvan de URL die naar de webservice stuit op een "error 404 - not found". Vooruit, een aanwijzing: type "request=getcapabilites" achter die URL en je krijgt er wel allerlei inhoudelijke en technische informatie over.
Maar we willen echte data, dus die WFS lijkt wel wat. en inderdaad, na wat gepuzzle levert de URL http://geodata.nationaalgeoregister.nl/inspireadressen/wfs?request=getFeature&typename=inspireadressen&outputformat=JSON 4Mb aan download op. Helaas levert het PDOK motortje maximaal 15.000 objecten per request, dus om via deze weg heel Nederland bij elkaar te sparen moet je zo'n 1000 requests afvuren en daarbij bijvoorbeeld telkens een andere bounding box opgeven. Dat gaat 'm niet worden.
Nog even terug naar de NGR-hitlist dan maar, en verdomd, verstopt op nummer 7 staat daar een "Inspire Download Service van adressen (inspire adressen)". klikkerdeklik, dat leidt naar http://geodata.nationaalgeoregister.nl/inspireadressen/atom/inspireadressen.xml Kijk, nu wordt het wat: complete BAG-n van een 4 tal datums, met als meest recente 8 augustus. Downloaden maar, en ja hoor, en stroomt 1.3 Gb naar binnen. Die kwantiteit is een goed voorteken! Na unzippen blijkt er naast 7 ZIPfiles een leveringsdocument-BAG-extract.xml in te zitten. Als ik daar in puzzel zie ik onder meer dat het draaimoment van deze dataset 8 augustus, half tien 's ochtends is.
(Wanneer de volgende zending komt is niet geheel duidelijk; er zat een regelmaat van 1x per maand in, na 8 augustus is de aanvoer stilgevallen. Als het goed is hoor ik binnenkort van het Kadaster meer over het leveringsplan)
Maar liefst 7 zipfiles heb ik nu. Eén met STA in de naam, een NUM, een PND een OPR een WPL, een LIG en een VBO. Dankzij Herko Coomans' onvolprezen "Hitchhikers Guide to the BAG" weet ik dat er nummers, panden, woonplaatsen, verblijfsobjecten, standplaatsen en ligplaatsen in moeten zitten, dus dat puzzeltje valt ook wel op te lossen.
Nog wel wat lastig dat die 7 zips soms weer uit meer dan één XML met de echte inhoud bestaan, omdat er een maximale grootte van 20 Mb per bestand is gehanteerd, dus dat weer even aan elkaar metselen. Gelukkig is er voor die technische puzzels uit de vorig alinea een kant-en-klare oplossing om het hele spul in een PostGIS database te prakken: nlextract.
Kortom, de geocache die BAG heet is gevonden. Champagne, ballonnen! Op nar de volgende geoschat, want zo'n inhoudeljke en technische geospeurtocht smaakt naar meer.
(voor
Abonneren op:
Posts (Atom)