IBM Watson is les voor kennismanagement | IBM Watson: lessons for knowledge management

 Computer display in flat styleAfgelopen maand verschenen er, vooral in de Amerikaanse pers, berichten over de verkoop van IBM Watson Health door IBM. IBM Watson Health zou niet meer passen in de bedrijfsstrategie. Maar er is meer aan de hand. IBM Watson is de afgelopen tien jaar niet het succes geworden waarop Big Blue had gehoopt. Wat kunnen we daarvan leren?

Veel artikelen over de overname van IBM Watson Health gaan over het falende beleid van IBM: slechte marketing, onduidelijke strategie, te veel verliesposten. Of was het concept te hoog gegrepen? Was de conservatieve gezondheidsmarkt er rijp voor? Maar de vraag blijft: waarom is IBM Watson gefaald als kennismanagementsysteem?

IBM Watson is een geavanceerd kennissysteem, ook wel ‘cognitive computing’ genoemd. Vooral de ‘state-of-the-art-gebruik van ‘natural language processing’ (NLP) en zoektechnologie maakten IBM Watson geschikt voor clinical decision support (CDS). Of een geavanceerde zoekmachine, zoals een collega het systeem noemde. Watson is in staat tekst te interpreteren binnen de context van een vakgebied. En het vakgebied wat IBM koos om te ontsluiten was hoog gegrepen: kankeronderzoek en -behandeling in de vorm van IBM Watson for Oncology. Watson werd gevoed door de actuele en relevante vakliteratuur op het gebied van oncologie. Maar ook met dossiers van kankerpatiënten. Om zo voor specifieke casussen de arts te adviseren over de best mogelijke behandelingen.

Op dit moment zijn er andere AI-gebaseerde producten die hetzelfde kunnen doen, maar IBM Watson blijft een mijlpaal in de geschiedenis van kunstmatige intelligentie, nlp en kennismanagement.

“De AI-technologie van Watson is niet het probleem […] het heeft simpelweg niet genoeg tijd of hoogwaardige gegevensinvoer gehad om de gepersonaliseerde gezondheidsmachine te worden die IBM heeft gepitcht.” (Lucas Mearian, Computerworld)

Gehypet

Waarom is dit technologisch geavanceerde systeem mislukt? Over deze vraag is de afgelopen jaren al veel geschreven. Voor mij is dan ook de vraag: wat kunnen we van deze mislukking leren? IBM Watson for Oncology werd behoorlijk gehypet. Als je daar doorheen prikte, kon je de potentie van Watson zien. Maar de omstandigheden waren niet ideaal vanuit het perspectief van IBM Watson for Oncology. De voornaamste problemen en lessen zijn in vijf punten samen te vatten.

• Kenniskloof

IBM Watson Health zou gebruikt worden door oncologen, experts in hun vakgebied. Deze gebruikers klaagden dat Watson weinig toegevoegde waarde had omdat de antwoorden die Watson gaf al bekend waren. Dit was op zich een geruststellende gedachte. Immers, het kennisniveau van onze medici is op orde. Maar als een systeem slechts in uitzonderlijke gevallen meerwaarde toevoegt, is de levensvatbaarheid van een dergelijk kennissysteem klein. Les: pas wanneer een kennissysteem significant meer 'weet' dan zijn gebruikers, wordt meerwaarde toegevoegd.

Maar dit fenomeen kan leiden tot een dilemma. Hieronder zal ik beschrijven dat foute of incomplete data kunnen leiden tot onjuiste adviezen. Maar hoe kan een gebruiker die weinig weet beoordelen of de adviezen juist zijn of niet? Een grote kenniskloof kan ook leiden tot het klakkeloos opvolgen van de computeradviezen.

• Culturele verschillen

Toen IBM Watson for Oncology in Nederlandse ziekenhuizen werd geprobeerd, klaagden de Nederlandse artsen over de nogal Amerikaanse inslag van de adviezen. Dat was ook niet verwonderlijk, omdat het gerenommeerde Amerikaanse kankerinstituut Sloan-Kettering mee had geholpen. De Nederlandse artsen vonden de adviezen van Watson niet verkeerd, maar alleen niet toepasbaar in de Nederlandse praktijk. Les: (de toepassing van) kennis is cultuurafhankelijk en kennis wordt pas toepasbaar wanneer het past in de (bedrijfs-)cultuur.

Bij IBM Watson for Oncology heb ik geen verhalen gelezen over artsen, die hun vakbekwaamheid in twijfel getrokken zagen. Maar bij andere projecten heb ik dat wel gezien: systemen die niet geaccepteerd werden omdat medewerkers zich erdoor bedreigd voelden.

• Uitvoerbaarheid

Vanwege bovenstaande bezwaren wilde IBM Watson aanbieden aan minder ontwikkelde landen. Daar is geavanceerde kennis over kanker niet aanwezig in ziekenhuizen. Artsen aldaar zouden Watson kunnen gebruiken om hun kennis over kankerbehandelingen aan te vullen. In India zijn hier successen mee behaald. Helaas bleek wel dat de aanbevolen behandelingen niet altijd uitvoerbaar waren. De hulpmiddelen die voor kankerbehandelingen in die landen beschikbaar zijn, waren onvoldoende om de voorgestelde behandelingen uit te voeren. Les: de aangeboden kennis moet wel praktisch uitvoerbaar zijn; suggesties die niet kunnen worden opgevolgd, zijn nutteloos.

• Data

IBM Watson Health wilde patiëntgegevens koppelen aan de medische literatuur, om zo de beste behandeling op te zoeken voor een specifieke casus. Maar helaas bleek het niet mogelijk voldoende complete patiëntendossiers samen te stellen in de ziekenhuizen. Documenten konden niet gedigitaliseerd worden (bijvoorbeeld door het spreekwoordelijke onleesbare doktershandschrift), dossiers waren niet compleet of actueel enzovoorts. En er waren privacy-problemen in vele landen. Les: zonder complete en actuele data kan een kennissysteem niet goed werken.

Maar een andere belangrijke les is dat verkeerde of incomplete data kunnen leiden tot verkeerde adviezen. Binnen de gezondheidszorg kunnen die fataal zijn, maar bij ieder kennismanagementsysteem kunnen verkeerde adviezen grote gevolgen hebben voor de organisatie.

• Geld en moeite

Niet alleen was het bijna onmogelijk om de patiëntengegevens compleet en actueel te houden, ook het bijhouden van de medische literatuur was een kostbare opgave. Er wordt zo veel gepubliceerd op het gebied van kanker, dat het een hele taak is om deze documenten te cureren. De documenten waren wel goed elektronisch leesbaar, maar de inhoud van de artikelen moest worden beoordeeld op geldigheid, toepasbaarheid en nuttigheid. Dat is gewoonweg veel kennisintensief werk. Les: realiseer je dat een kennissysteem opbouwen al duur is, maar het bijhouden ervan nog inspannender en kostbaarder kan zijn. Wil je de kwaliteit van de inhoud borgen, zal je actief de data moeten cureren.

Laten we niet vergeten dat IBM Watson Health een duur systeem is. Klanten moeten niet alleen veel betalen voor het systeem zelf, maar ook voor de in het systeem opgeslagen en gebruikte kennis. Wetenschappelijke kennis is niet gratis. Les: De kosten voor auteursrechten en gebruikslicenties van externe data (documenten, datasets, foto’s enz.) kunnen bij kennismanagementsysteem flink oplopen.

“Als systemen, die zijn ontworpen om gegevens te analyseren, niet voldoen aan de eisen van [...] organisaties, dan is de kans dat ze worden geadopteerd minimaal, hoe geavanceerd of indrukwekkend ze ook zijn.” (Raphael Kahan, CTech)

Geen uitzondering

En zo blijkt een technologisch geavanceerd systeem als IBM Watson for Oncology toch te falen op die menselijke, culturele en organisatorische aspecten. Maar IBM Watson is niet het enige it-systeem dat hierop fout mee is ingegaan. IBM Watson for Oncology is wat dat betreft geen uitzonderling. Voor wie kennismanagement in zijn organisatie wil implementeren, raad ik aan de lessen uit het verleden ter harte te nemen.

Kennismanagement kan potentieel veel voordelen en meerwaarde bieden, maar het is kostbaar in opbouw en instandhouding. Laat je dus niet verblinden door de voordelen, maar zorg voor een goede businesscase. Een case die niet alleen financieel op orde is, maar ook rekening houdt met al die menselijke factoren die een systeem kunnen maken of breken: cultuur, werkwijzen, traditie en bovenal mensen.

Text in English:

Some months ago reports appeared, especially in the American press, about the sale of IBM Watson Health by IBM. IBM Watson Health would no longer fit into the business strategy of IBM. But is there more to it than that news? IBM Watson has not been the success IBM had hoped for over the past decade. What can we learn from this?

Many articles about the acquisition of IBM Watson Health are about IBM’s failed policies: poor marketing, unclear strategy, too many losses. Or was the concept too ambitious? Was the conservative health market ripe for this product? But the question for me remains: why has IBM Watson failed as a knowledge management system?

IBM Watson is an advanced knowledge system, also known as "cognitive computing". In particular, the state-of-the-art use of Natural Language Processing (NLP) and search technology made IBM Watson suitable for Clinical Decision Support (CDS). Or a very advanced search engine, as a colleague of mine, called the system. Watson can interpret text within the context of a field of knowledge. And the field IBM chose to unlock was high-minded: cancer research and treatment with IBM Watson for Oncology. Watson was fed by the current and relevant professional and scientific literature in the field of oncology. But also with files of cancer patients. So the system can advise the doctor on the best possible treatments for specific cases.

Right now, other AI-based products can do the same, but IBM Watson remains a milestone in the history of artificial intelligence, NLP and knowledge management.

“Watson’s AI technology is not the problem, […] it simply hasn’t had enough time or quality data input to become the personalized medicine engine IBM has pitched.” (Lucas Mearian, Computerworld)

But why has this technologically advanced system failed? Much has been written about this question in recent years. For me, the question is, what can we learn from this failure? IBM Watson for Oncology got quite hyped. If you ignored the hype, you could see Watson’s potential. But the conditions were not ideal from the perspective of IBM Watson for Oncology. For me, the main problems and lessons can be summarized in five points:

1. Knowledge gap: IBM Watson Health would be used by oncologists, experts in their field of knowledge. These users complained that Watson had little added value because the answers Watson gave were already known. I found this in itself quite reassuring because the level of knowledge of our doctors was great. But if a system only adds value in exceptional cases, the viability of such a knowledge system is small. Lesson: Only when a knowledge system "knows" significantly more than its users, added value is created.

But this phenomenon can lead to a dilemma. Below I will describe that incorrect or incomplete data can lead to incorrect advice. But how can a user who knows little judge whether the advice is correct or not? A large knowledge gap can also lead to users indiscriminately following up computer advice.

2. Cultural differences: When IBM Watson for Oncology was tried in Dutch hospitals, the Dutch doctors complained about the rather American impact of the advice. That was not surprising, because the renowned American cancer institute Sloan-Kettering had helped. The Dutch doctors did not think Watson’s advice was wrong, but only not applicable in Dutch practice. Lesson: (the application of) knowledge is culture-dependent. Knowledge only becomes applicable when it fits into the (company) culture.

At IBM Watson for Oncology, I didn’t read any stories about doctors who saw their professional competence questioned. But I have seen that in other projects: systems that were not accepted because employees felt their jobs were threatened.

3. Feasibility: Due to the above objections, IBM wanted to offer Watson to less developed countries. There, advanced knowledge about cancer is not present in hospitals. Doctors there could use Watson to supplement their knowledge about cancer treatments. In India, successes have been achieved with this. Unfortunately, it turned out that the recommended treatments were not always feasible. The tools available for cancer treatments in those countries were insufficient to carry out the proposed treatments. Lesson: the knowledge offered must be practicable; suggestions that cannot be followed up are useless.

4. Data: IBM Watson Health wanted to link patient data to the medical literature to find the best treatment for a specific case. But unfortunately, it turned out not to be possible to compile enough complete patient files in the hospitals. Documents could not be digitized (for example, due to the proverbial illegible doctor’s handwriting), files were not complete or up-to-date and so on. And there were privacy issues in many countries. Lesson: without complete and up-to-date data, a knowledge system cannot work properly.

But another important lesson is that wrong or incomplete data can lead to wrong advice. Within healthcare, these can be fatal. But with any knowledge management system, wrong advice can have major consequences for the organisation.

5. Money and effort: Not only was it almost impossible to keep the patient data complete and up to date but keeping up with the medical literature was also a costly task. So much is published in the field of cancer that it is quite a task to curate these documents. The documents were easy to read electronically, but the content of the articles had to be assessed for validity, applicability and usefulness. That is simply a lot of knowledge-intensive work. Lesson: Realize that building a knowledge system is already expensive, but keeping track of it can be even more strenuous and costly. If you want to guarantee the quality of the content, you must actively curate the data.

Don’t forget that IBM Watson Health is an expensive system. Customers not only have to pay a lot for the system itself but also have to pay for the knowledge stored and used in the system. Scientific knowledge is not free. Lesson: The cost of rights to use external data (documents, datasets, photos, etc.) can increase considerably with a knowledge management system.

“However, if those systems that are designed to analyze data don’t fit the demands of […] organizations then the chance they will be adopted is minimal, no matter how sophisticated or impressive they are.” (Raphael Kahan, CTech)

In the end, a technologically advanced system like IBM Watson for Oncology turns out to fail on those human, cultural and organizational aspects. But IBM Watson isn’t the only IT system that has gone wrong with this. IBM Watson for Oncology is no exception in that respect. For those who want to implement knowledge management in their organization, I recommend taking the lessons of the past to heart. Knowledge management can potentially offer many benefits and added value, but it is costly to build up and maintain. So don’t be blinded by the benefits, but make sure you have a good business case. A business case that is not only financially okay but also takes into account all those human factors that can make or break a system: culture, ways of working, tradition and above all people.

Dit artikel is eerder gepubliceerd op de Computable-site. | This article has been previously posted on LinkedIn.

Foto via iStock by Getty Images