Stemgestuurd kentekens bevragen met Android auto 2.0

De markt van connected cars bestaat uit heel veel partijen die op 1 of andere manier een graantje willen meepikken. Aangezien veel mensen dagelijks een geruime tijd bivakkeren in hun voertuig om getransporteerd te worden van A naar B en terug, zijn veel partijen zeer geinteresseerd om een connectie op te bouwen. Dat kan via zogenaamde in-car Human-machine interfaces (HMI) zoals navigatiesystemen. Het Nederlandse TomTom heeft een hele portfolio diensten voor autofabrikanten op dit gebied, waarmee een autofabrikant af-fabriek allerlei online diensten kan ontsluiten.

Er zijn echter paar grote partijen die een andere aanpak gebruiken. Bijna iedereen neemt namelijk tegenwoordig een krachtige smartphone mee de auto in. Deze smartphone speelt een belangrijke rol voor het connected maken van het voertuig. 1  van die partijen is Google, die met de applicatie Android Auto een extensie van hun Android omgeving heeft gemaakt. De eerste iteratie van deze software kon enkel en alleen met auto’s gebruikt worden die hiervoor voorbereid waren. Vorige week lanceerde Google echter versie 2.0. Met deze versie kan je Google Auto ook enkel en alleen op de telefoon gebruiken.

In deze blogposting mijn eerste ervaringen met Android auto versie 2.0 en de mogelijke hooks om naast de standaard applicaties meer te doen.

UPDATE 8 december 2016: Het moet Android auto zijn en niet Google auto. Dit is aangepast in het artikel

Problemen bij ontwikkelen van in-car HMI interfaces

Rondom smartphones en tablets is een hele bedrijfstak ontstaan van ontwikkelaars die applicaties en services ontwikkelen. Je zou verwachten dat met een paar muisklikken zo’n app naar een scherm in de auto gekopieerd kan worden. Dit is echter vele malen lastiger dan veel mensen denken.

De user interfaces van auto’s zijn gebonden aan een aantal strenge regels. Zo moet de interactie van het apparaat met de mens zo min mogelijk afleiden. Daarom is bij vele auto’s ook de mogelijkheid uitgeschakeld dat je al rijdende videootjes kan bekijken. De elementen op het scherm moeten ook dusdanig ontworpen zijn, zodat ze op allerlei makkelijke manieren te bedienen zijn. Dat kan door middel van aanraken van het scherm, maar ook door stuurbediening, touchpad op middenconsole, handbewegingen, stemherkenning of een grote ronde knop ergens op het dashboard.

Dit maakt het direct complexer voor veel ontwikkelaars om hun applicaties door te zetten naar zo’n scherm. En dit beperkt daarmee direct de mogelijkheden van de huidige platformen.

Mirrorlink

Eerder dit jaar is in huize Verweij privematig een andere auto aangeschaft. De keuze viel uiteindelijk op een speciale uitvoering van Peugeot 208. Deze is namelijk uitgerust met destijds nieuwe navigatiesysteem met de mogelijkheid om Apple Carplay of Mirrorlink apps te gebruiken. Aangezien ik enkel in bezit ben van Android telefoons heb ik pogingen gewaagd om Mirrorlink te gebruiken. Kortweg was dit een hevige teleurstelling.

Conceptmatig zit het ecosysteem van Mirrorlink misschien goed in mekaar. Je zou in theorie niet per se gebonden hoeven te zijn aan Apple of Android. Echter voor een consument die gewoon iets plug-and-play verwacht is er nog heel veel te winnen. Afgezien van een auto die deze technologie ondersteunt, heb je namelijk een specifiek telefoon model nodig. Deze modellen dienen vervolgens ook nog door autofabrikanten geautoriseerd worden. Zo beschikte mijn vorige telefoon (Samsung Galaxy S4 mini) als 1 van de weinige telefoonmodellen over Mirrorlink, maar de PSA groep (Peugeot & Citroen) of Samsung heeft voor dit model het certificatie proces met deze automerken niet doorlopen.

Naast certificering van telefoons en voertuigen dienen ook applicaties ontwikkeld voor Mirrorlink te voldoen aan strenge eisen. En ogenschijnlijk hebben niet veel ontwikkelaars daar zin in. Enkel Volkswagen heeft voor eigen merken enkele bruikbare apps gemaakt.

Customized Android versie

Het concept achter Android staat toe dat je het besturingssysteem ook voor andere apparaten dan telefoons of tablets kan inzetten. Zo heb ik ooit geploeterd met een speciale HDMI stick met Android 4.2 erop om mijn TV nog smarter te maken. Later heeft Google een speciale versie voor televisiefabrikanten gemaakt onder de noemer Android TV.

Android kan je echter ook op andere manieren inzetten. Zo heeft Honda op basis van Android een HMI-interface gemaakt voor oa de nieuwste generatie Honda Jazz. Mijn ouders rijden sinds kort rond in een witte versie daarvan uitgerust met een ingebouwde Android tablet. De gebruikte Android versie is echter alweer een paar versies verouderd en door allerlei beveiligingsmaatregelen kan je ook niet zomaar extra applicaties toevoegen. De dealer is al een paar keer nodig geweest om 1 en ander weer goed te krijgen.

Opel Astra met NAVI900 IntelliLink

Eerder dit jaar was ik aan de beurt om een nieuwe leaseauto te kiezen. De Hyundai i40, uitgerust met een LG HMI-interface gebaseerd op Windows CE…) was aan het einde van de leasecontract gekomen. Na mijn ervaringen met Mirrorlink en mijn eigen behoefte aan een zo’n modern mogelijke HMI-systeem keek ik vooral kritisch naar deze stand van zaken in de shortlist auto’s.

Zodoende kwam ik op de eind vorig jaar geintroduceerde Astra-K Sports Tourer uit. Vanwege kilometers werd de diesel variant gekozen in de uitvoering Innovation. Naast allerhande ADAS-systemen en Opel OnStar met WiFi mogelijkheid werd ook op de optielijst NAVI900 IntelliLink pakket aangevinkt. De NAVI900 heeft namelijk de mogelijkheid om Apple Carplay of Android Auto te gebruiken.

Android auto 2.0 installeren

In de brochures en bij de dealers wordt overigens duidelijk gemeldt dat Google auto officieel nog niet voor het Nederlands marktgebied beschikbaar is. Daardoor is de applicatie Android Auto wel vindbaar in de Google Play store, maar installatie lukt niet met een Google account gekoppeld aan Nederlands taalgebied. Via een omweg is het downloadbestand echter op bijna elke Android telefoons uitgerust met minimaal Android 5.0 te installeren. Zo is het mij ook gelukt om de 2.0 versie te installeren op Samsung Galaxy s6. Via onderstaande QRcode kan je ook direct op de juiste pagina komen:

Eerste ervaringen met Android auto 2.0

Via de WiFi van de Astra (waarbij standaard SSID is omgedoopt naar “mobiel flitsteam”), telefoon in de PowerFlex bar telefoonhouder (ook extra optie op prijslijst Astra) en USB kabeltje in de USB ingang in armleuning opbergbox is het een koud kunstje om Android Auto op het scherm te toveren.

Android auto bestaat uit 5 tabbladen/schermen:

1. Google maps navigatie
2. Telefoon
3. Berichtencentrum
4. Audio
5. Instellingen

Vooral de Google maps navigatie is erg handig in gebruik. Door synchronisatie via je Google account zijn adressen opgezocht op je desktop direct op te vragen in het navigatiesysteem. Ook toont het systeem de lokaties die je opgeeft in je Agenda afspraken. Het systeem gokt er ook op dat je bij instappen ’s ochtends waarschijnlijk naar je werk gaat en bekijkt alvast of er bijzonderheden over je dagelijkse route te melden zijn. Hetzelfde gebeurt laat op de middag als je graag naar huis wilt.

Nieuwsgierig als ik ben moet ik bekennen dat ik in het verleden wel eens de telefoon in de hand nam, vijf cijferige ontgrendelcode moest invoeren en vervolgens snel even de laatst binnengekomen SMSjes, Whatsappjes, Telegrammetjes of email ging lezen. Door Android Auto is dat bijna helemaal verleden tijd. Op het scherm komen namelijk notificaties van nieuwe SMS, Whatsapp of Telegram berichten binnen. Met druk op de knop worden deze berichten echter voorgelezen door een zeer snel Nederlands pratende vrouwenstem. Met het commando “Antwoorden” kan je direct een gesproken bericht terug sturen. Dat werkt zeer aardig!

Het voorlezen gaat overigens nog niet altijd denderend. Zo wordt een gemiste oproep van +31612345678 voor gelezen als “plus 31 miljard 612 miljoen 345 duizend 678”.

Naast antwoorden sturen naar binnengekomen Whatsapp berichtjes kan je volgens mij sinds versie 2.0 ook direct nieuwe berichtjes sturen naar je contacten of groepsgesprekken. Dit is te doen door op het microfoontje te drukken en het commando “stuur whatsapp” te geven. Een vriendelijke stem zal je dan vragen naar wie je een chat wilt sturen en vervolgens welk bericht. Voor verzending herhaalt ze ook nog je bericht voordat je definitief het bericht de wijde wereld instuurt.

Finnik kenteken via Android auto

Vorig jaar is wegens het succes van de zeer populaire kenteken opvraag applicaties voor smartphone en tablets een apart bedrijf opgericht met de naam Finnik. Dit nieuwe bedrijf geeft iedereen de mogelijkheid om via web of apps gegevens op basis van Nederlands kenteken op te vragen. Eerder dit jaar is Finnik in het klein een experimentele service gestart om ook via een bot kentekens te bevragen via Whatsapp. Deze service wordt momenteel verder beschikbaar gemaakt voor Facebook messenger en Telegram, aangezien Whatsapp formeel geen bots toestaat.

Deze kenteken bevraag bot heeft 3 mogelijke functies:

• gegevens opvragen op basis van kenteken
• laatst uitgegeven kenteken opvragen door RDW
• weerinformatie opvragen van een locatie

Eerder in deze posting bekende ik dat ik onderweg wel eens mijn telefoon pakte voor het raadplegen van het een of ander. Zo ook om even snel een bepaald kenteken op te vragen in de Finnik app. Dat bracht me op het idee om samen met Finnik eens te experimenteren met het opvragen van kentekens via de voice recognition module van Android Auto. Dit is het eerste resultaat:

De video is opgenomen na een aantal probeersessies en aanpassingen. In eerste instantie had ik het Whatsapp nummer (deze mag ik niet bekendmaken, sorry) als contact “Finnik” opgeslagen. De stemherkenning had echter moeite met dit woord. Daarom heb ik als voornaam “kenteken” toegevoegd.

Een andere belangrijke aanpassing was het opnoemen van kentekens. Ik merkte dat bij het opnoemen van de afzonderlijke letters zoals “K L zevenhonderdachttien H” wederom de stemherkenning verkeerde interpretaties kon hebben, zowel qua letterherkenning als spatiegebruik. Daarom heeft de maker van de Whatsapp bot op mijn aangeven de spaties gestript en herkenning op basis van woorden toegevoegd, zoals “Karel Leo zevenhonderdachttien Hendrik”. Dit maakte direct

Vervolg

Aangezien Telegram een hele API heeft om zelfstandig een bot te maken, en deze bot API te koppelen valt aan mijn favoriete automation tool IFTTT broed ik nu op verdere mogelijkheden. Zo zou ik graag met een paar simpele stemcommando’s naar mijn lief mijn huidige locatie en vermoedelijke aankomsttijd thuis per chat willen sturen.

Ook zou ik het erg gaaf vinden als Opel OnStar net zoals BMW een koppeling met IFTTT gaat maken. Dat zou de mogelijkheden flink moeten vergroten.

Help! Ik snap de help niet

Niet alles gaat nog perfect met Android auto. Zo kan je via de microfoon om help vragen. In het Nederlands krijg je dan echter een zeer moeilijke uitleg over de mogelijkheden:

Google Auto Dutch voice sounds drunk when i'm asking for help pic.twitter.com/gCXaePPRWA

— Jasper Verweij (@JasperVerweij) November 12, 2016

Update juli 2017

helaas heeft Whatsapp de Finnik kenteken bot gegeven aan hun hond. Deze heeft de bot verorberd, waardoor stemgestuurd kentekens bevragen (even) niet meer mogelijk is.