Ni har tusentals produktblad. Manualer. Säkerhetsinstruktioner. Någon föreslog att lägga AI ovanpå. Demon såg bra ut. Teknikern ställde en fråga och fick ett snyggt formaterat svar på sekunden.
Men svaret handlade om fel modell. Instruktionerna liknade varandra i texten. AI:n kunde inte se skillnaden. Det kunde inte teknikern heller, för svaret såg proffsigt ut.
Säkerhetsvarningen som stod i röd text på sidan fyra i originalet försvann i sammanfattningen. Den rankades inte tillräckligt högt i sökningen.
En sannolikhetsmaskin som låter självsäker är farligare än en som erkänner att den inte vet.
Vad som behöver förändras
AI som sammanfattar tusen produktblad behöver ersättas med ett system som hämtar exakt rätt instruktion för exakt rätt modell.
Svar som ser proffsiga ut men refererar fel version behöver ersättas med verifierade ankare i databas. Inte vektorsökning i PDF:er.
Säkerhetsvarningar som försvinner i sammanfattningar behöver bli hårda stoppunkter vid riskmoment.
Teknikern som inte kan avgöra om svaret stämmer behöver ett system som visar källan. Inte en tolkning.
Arkitekturen dubbelkollar. Inte användaren.
Ankare, inte gissningar
Instruktioner kopplade till verifierad data i en databas. Inte approximationer från en vektorsökning. Systemet vet vilken modell, vilken version, vilken kontext.
Stoppunkter vid risk
Vid säkerhetskritiska moment slutar systemet gissa. Det visar originalet. Protokollet. Utan tolkning, utan sammanfattning. Ofiltrerat.
Spårbarhet
Varje svar pekar på sin källa. Teknikern ser var informationen kommer ifrån. Inte vad en modell tyckte att den menade.
Ett scenario
En tekniker står framför en industridörr med en högspänd fjädermekanism. Han frågar systemet hur den ska underhållas. AI:n ger ett självsäkert svar baserat på en liknande modell. Steg tre i instruktionen saknar en varning. Fjädern kan orsaka allvarlig skada.
Med ett förankrat system hade teknikern fått exakt rätt protokoll för exakt rätt modell. Med säkerhetsvarningen intakt. Med en länk till originaldokumentet.
En högspänd fjäder bryr sig inte om sannolikhetslära.