Ga naar inhoud

Ook een AI verdient een goede werkplek

Albert Skibinski •
Handgetekende schets van de werkplaats van Jafix Assist: het model als vervangbare vakman in het midden, met werk (doelen en taken), gereedschap per app, procedures, kennisbank, een klein beslismodel, evals, werkplaatsregels en de eigenaar die goedkeurt

Als je de talenten en skills van een vakman optimaal wil benutten dan is het nodig om een goede werkplaats te creëren met gereedschap van hoge kwaliteit.

Met een AI-assistent is het niet anders. Bij Jafix werken we aan Jafix Assist, een AI-assistent voor reparatiebedrijven waarmee je als zzp'er of mkb'er bedrijfsprocessen kan automatiseren.

Nu hoor ik je denken: een SaaS-oplossing? Waarom zou een bedrijf dit niet zelf doen? Laat werknemers Claude Code installeren en zelf hun werk automatiseren. Er zijn inderdaad innovatieve bedrijven die dat doen, maar dat is lang niet voor elk bedrijf weggelegd, omdat er veel technische expertise bij komt kijken.

Denk aan het opzetten van een kennisbank, koppelingen met systemen, veiligheid en hoe zit dat eigenlijk met persoonsgegevens en AVG? En je wil natuurlijk ook niet dat je assistent alleen werkt als je laptop openstaat.

Van chatbot naar domain specific AI-assistent

Bij Jafix begon het met Handige Harry: een chatbot die een vraag als "mijn stofzuiger maakt een raar geluid" met behulp van AI vertaalde naar de juiste zoekfilters, zodat je bij een handleiding of een reparateur uitkwam. Intent detection en query understanding, vooral. Daarna hebben we verschillende iteraties uitgevoerd, maar Jafix Assist ontstond pas na de opkomst van AI-agents.

Geen vraag-antwoordspelletje meer maar AI's die ook dingen kunnen doen, acties uitvoeren en net zo lang doorgaan totdat de taak af is.

Dit is waar Jafix Assist op aansluit: het doet werk en kan gebruikt worden om bedrijfsprocessen te automatiseren. Denk aan CRM-taken zoals verwerken van intakes en klanten, opstellen van offertes en het bouwen en bijhouden van de website. Gespecialiseerd dus om problemen in ons domein op te lossen, wat weer mogelijk is dankzij onze jarenlange kennis binnen de sector.

Agents hebben echter een zogenaamd harness nodig. Hier is geen echt lekker Nederlands woord voor trouwens (een ridderharnas is niet de goede vergelijking), je moet denken aan een gareel/teugels wat je kent om paarden te leiden, of een klimgordel/tuigje dat je omdoet voor de veiligheid: iets dat krachten beteugelt, veilig maakt en richting geeft. Als je Claude Code gebruikt, of ChatGPT, dan werk je binnen zo een harness.

SA Jafix AssistJouw AI-werknemer
JIJ

Jij 09:14

Maak een offerte voor de e-bike van gisteren

SA

Sam 09:14

Doel koppelen aanvraag e-bike Procedure lezen offerte maken Aanvraag ophalen 2 foto’s Prijzen zoeken 3 regels Offerte opstellen concept

De offerte staat klaar: € 82,50 incl. btw. Zal ik hem versturen?

BekijkenJa, versturen
Typ een bericht…

Om de metafoor compleet te maken: de werkplaats is het harness, waar de vakman (het LLM-model) het juiste gereedschap heeft, een veiligheidsbril op kan doen en binnen de regels van de werkplaats werkt. Als je de werkplaats goed inricht dan kan hij optimaal gebruikt worden.

Het werk verschuift hierbij ook van chatbot die (irritant) is voor de klant, naar een assistent die werk doet in het bedrijf en niet direct met klanten communiceert.

Voor het meeste werk zijn geen frontiermodellen nodig

Jafix Assist draait niet op de grootste en duurste frontiermodellen, maar op kleinere open (open source/weights) modellen, volledig in de EU gehost. Elk model is vervangbaar, wat ons de mogelijkheid geeft om te experimenteren met nieuwe/betere modellen en het geeft ons soevereiniteit: we zijn niet afhankelijk van één leverancier.

Uitdagingen uit de praktijk: hoort een "deze" in de chat bij de offerte of bij de website waar we mee bezig zijn? Is een mail een echte aanvraag of gevaarlijke spam? Welke tools moeten gebruikt worden?

Voor zulke vragen gebruiken we een apart, supersnel en klein beslismodel. Die schrijft geen text maar classified opties. Bij twijfel vragen we na welke context bedoeld wordt, eigenlijk net zoals een mens dat zou doen.

Dit idee kom je steeds vaker tegen om je agents efficiënter en veiliger te laten werken naast het denkende model, en het past bij de rest van de werkplaats: de vakmens hoeft niet ook nog de post te sorteren.

Hoe weet je dat het goed gaat?

Evals! Evals! Evals! Volgens Anthropic is het lastigste van agents het evalueren: je moet kijken naar de uitkomst, niet naar wat het model zegt dat het deed.

Wij doen dat op verschillende manieren maar mijn favoriet is de mystery shopper: een sterker model speelt een eigenaar volgens diverse persona's en diverse scenario's die de app voor het eerst gebruikt, en beoordeelt daarna wat er kapot, fout of irritant was.

Daarnaast kunnen gebruikers conversaties delen met ons ter inzage. Met deze uitkomsten kunnen wij het harness steeds verder verbeteren en robuuster maken (self recovery). Maar ook binnen 1 organisatie is de assistent zelflerend zonder dat er code aangepast hoeft te worden doordat hij leert van de aanpassingen en instructies die de gebruiker aangeeft. En als er iets fout gaat wordt dat ook meteen doorgestuurd.

Jafix · nieuwe meldingWebsite bouwen: time-out. Trace bijgevoegd.
SA Jafix AssistJouw AI-werknemer
JIJ

Jij 10:02

Zet de nieuwe openingstijden op de site

SA

Sam 10:02

Pagina aanpassen openingstijden Website bouwen time-out

Dit is niet gelukt. Ik heb het doorgegeven aan Jafix.

Probeer opnieuw

Melding met trace verstuurd naar Jafix

Typ een bericht…

Chatified applicaties en UX/UI

Een AI-chatinterface binnen een "chatified" app heeft best wat uitdagingen. Je ziet bij OpenAI en Anthropic dan ook dat er continue updates uitkomen om de gebruikerservaring te verbeteren. Maar ook daar ben ikzelf af en toe de weg, en vooral conversaties kwijt.

Bij Jafix Assist gebeurt alles in 1 chat. Geen aparte conversaties. Dit maakt het eenvoudiger maar heeft ook uitdagingen. Want het kan best zijn dat er conversaties en (background) processen door elkaar lopen. Daarnaast heb je ook gewoon de schermen van de applicatie zelf die bepalend zijn voor de context. Waar zit de gebruiker naar te kijken? Wat bedoelt hij met "deze" in de chat? Welke workflows en procedures draaien er momenteel?

En op mobile wordt het nog lastiger, want je kan (en wil) niet alles in de chat doen, dus soms zal de assistent iets klaarzetten in de workspace om te bekijken, maar de workspace kan niet tegelijk getoond worden op een klein scherm.

Daarbij is de webinterface slechts 1 van de kanalen die gebruikt kunnen worden. Gebruikers kunnen ook communiceren via bijvoorbeeld Slack, WhatsApp en e-mail.

Assistent Workspace
JIJ

Jij 16:40

Maak een offerte voor de e-bike

SA

Sam 16:40

Offerte opstellen concept

Staat klaar in je workspace.

Bekijk offerte
SA

Sam 16:41

Verstuurd! Ik laat het weten als de klant reageert.

Concept Offerte e-bike
Spaken vervangen (2×)€ 45,00
Wiel richten€ 25,00
Voorrijkosten€ 12,50
Totaal incl. btw€ 82,50
Goedkeuren en versturen Verstuurd
Typ een bericht…

Human in the loop

De assistent zou autonoom heel veel kunnen doen, maar vertrouwen moet opgebouwd worden. Dus voor elke communicatie naar buiten is er een moment waarbij jij het bericht, de nieuwe pagina op de website, of de offerte moet goedkeuren.

Vergelijk dit met het aannemen van een nieuwe medewerker, die geef je waarschijnlijk de 1e dag ook nog niet toestemming om zonder goedkeuring belangrijke beslissingen te nemen.

Next steps

Het is early days, ontwikkelingen gaan hard en we experimenteren waar de kansen liggen voor onze klanten. Probeer het zelf en laat ons je ervaringen weten!

Albert Skibinski

Over de auteur

  • Albert Skibinski is product engineer en co-founder van Jafix.
  • Ik schrijf over web development, lange fietstochten en lekker eten!