Tekoäly arjen työkaluna jaksaa jatkuvasti yllättää - välillä positiivisesti, välillä negatiivisesti. Tässä yksi negatiivinen esimerkki maksullisesta ChatGPT 4o-versiosta.
ChatGPT pystyy muuttamaan kuvana olevan tekstin oikeaksi tekstiksi, joten se korvaa OCR-ohjelmaa. Ominaisuudesta on hyötyä silloin, kun halutaan esimerkiksi verkkosivulla näkyvä teksti tai numerot omaan sovellukseen, mutta aineiston maalaaminen hiirellä ei onnistu.
MUTTA.
Käytin Tivi-lehden kolumnia 3/2025, josta otin isokokoisen ruutukuvan.
 |
| Testiaineistona Tivi-lehden kolumni. |
Jotta tekoäly ei turhaan ihmettelisi otsikkoa ja kuvaa, rajasin ne tehtävän helpottamiseksi pois.
 |
| "ChatGPT, muunna tämä tekstiksi." |
Ensin näytti siltä, että tehtävä oli onnistunut täydellisesti. Tekstiversio alkoi virheettömästi, mutta sitten huomasin tekstin saaneen ihan uusia piirteitä. Kun alkuperäisessä tekstissä luki
Jos USA:n linja jatkuu uhkaavana, EU-kansalaisten pitää äänestää jaloillaan ja alkaa suosia eurooppalaisia palveluita: “EU first”.
ChatGPT oli kirjoittanut sen muotoon (lihavointi lisätty)
Jos USA:n linja jatkuu uhkaavana, EU-kansalaisten pitää äänestää järjellä ja alkaa suosia eurooppalaisia palveluita. ”EU first”.
Jaloilla äänestäminen oli siis muuttunut järjellä äänestämiseksi. Oho!
Toinen virhe oli vielä käsittämättömpi. Alkuperäinen kolumni:
Sinä ja minä tuskin kiinnostamme USA:ta, mutta jos olisin kansanedustaja tai mielipidevaikuttaja, poistaisin pikimmiten kaikki arkaluonteiset tietoni ja keskusteluni niin Facebookista, X:stä kuin suurista pilvipalveluistakin.
ChatGPT:n tulkitsema tekstiversio:
Sinä ja minä tuskin kiinnostumme USA:sta, mutta jos länsi kansanedustajia tai mielipidevaikuttajia, joista pikemmin kaikki arkaluonteiset tietoni ja keskusteluni niin Facebookista, X:stä kuin sähköpostista ovat ulottuvilla.
Kolmannessa kohdassa se oli omin luvin jättänyt esimerkiksi-sanan kokonaan pois. Myös "tämä" oli muuttunut muotoon "sama", "muka" oli "makuu", "taipuu" oli "tulpu" ja niin edelleen.
Lause "Alkaa tuntua siltä, ettei Schrems ollut edes tarpeeksi tiukka" oli nyt muodossa "Alkaa tuntua siltä, että Schrems oli oikeasti edelläkävijä". Aivan kuin ChatGPT:llä olisi vähintäänkin paha lukihäiriö yhdistettynä valveuniin.
Tavallinen OCR-ohjelma tunnistaa merkkejä väärin, jolloin ne näkyvät tekstissä ?-merkkeinä tai väärinä aakkosina. ChatGPT tunnistaa merkit ihan oikein, onhan lähtökohtana virheetön ruutukuva, mutta sekoilee kokonaisissa sanoissa.
En osaa selittää, miksi näin tapahtuu. Miksi ChatGPT ymmärtää tehtävän oikein ja tunnistaa tekstin pääosin virheettömästi, mutta lisäilee sinne kesken kaiken omiaan?
"Ehtivätkö nämä supersuorittajat aina tarkistaa, millaisia sammakoita generatiivinen tekoäly on heidän tuotoksiinsa tehnyt?"
VastaaPoistaEi heidän tarvitse, koska mahdolliset lukijat kuitenkin teettävät tekoälyllä niistä tiivistelmät.
Generatiivinen tekoäly on luonnostaan sellainen, että se arvaa puuttuvan tiedon. Jos tietoa ei ole saatavilla, se ns. hallusinoi. Tekoälyä kannattaa käyttää vain silloin kun kaikki tarvittava tieto käytettävissä. Moniin mekaanisiin tehtäviin, esimerkiksi vain järjestelemään taulukkomuotoista tekstiä, se on loistava.
VastaaPoistaMinusta on erittäin aiheellinen kysymys, miksi tekoäly ei tuota ?-merkkejä, tai kiellä tietävänsä vastausta kysymykseen. Ilmeisesti se mutkistaisi rakennetta ratkaisevasti. Transformereihin perustuva GenAI on pohjimmiltaan kielenkääntäjä, joka käsittelee sille työnnettyä peräkkäistä tietomassaa, syöte => vaste. Se ei tunne muuta merkitystä, ellei opetetussa datassa ole erikseen kerrottu mitä tekoäly ei tiedä. Sillä ei ole sellaista logiikkaa tai reflektiota säätelemään omaa työtään. Se on rinnakkaislaskennan ansiota (eli turing-täydellisyyden puutetta), vaikka moni ei sitä myönnäkään.
Silti on vaikea ymmärtää, miksi tekstin tunnistus epäonnistuu joissakin kohdissa, sillä tiedosto on virheetön ja tasalaatuinen kuvatiedosto. Ja vaikka yksittäiset sanat vielä sekoaisivat, mikä saa tekoälyn lisäämään omia sanoja tekstin väliin?
VastaaPoistaTekoäly käyttää perinteistä OCR:ää tekstin lukemiseen. Tekoäly ei osaa edes tuottaa tekstiä kuvaan, joten tuskin se sitä lukisi.
VastaaPoistaOCR on hyvä esimerkki siitä, että meidän oma havannointi perustuu olettamuksiin, ja vastaanotamme (heikkolaatuista) aistitietoa vain poikkeustapauksissa, tarkistaaksemme oletuksemme. OCR sen sijaan joutuu perustamaan kaikki vastaanotettuun dataan, jolloin datan laadun pitää olla täydellistä.
Jos data on vain 99% täydellistä, niin eikö tuloksena ole 1% virhe?
VastaaPoistaLLM:issä matematiikka ei taida olla noin suoraviivaista. Joka tapauksessa tässä vastaanotettu data on "täydellistä", koska ne ovat suoraan kuvapikseleitä. Miksi kirjain tunnistetaan välillä oikein ja välillä väärin? Virheiden pitäisi liittyä tiettyihin kirjaimiin (kuten ä, joka voi olla ChatGPT:lle vaikea tunnistaa), mutta en havainnut tässä mitään johdonmukaisuutta. Liioin mikä selittäisi tekstiin ilmestyvät ylimääräiset sanat?
VastaaPoistaEikös blogistin kannattaisi kysyä tätä tekoälyltä myös? Jännä verrata tekoälyn ja meidän lukijoiden mielipidettä ongelmasta.
VastaaPoistaEi pikselitieto ole koskaan täydellistä, ei varsinkaan tuolla tarkkuudella, joka blogin kuvassa on. 150 dpi skannauskaan ei riitä. Tässä voi ajatella Immanuel Kantin filosofiaa olio sinänsä, joka ei ole suoraan havaittavissa. No ehkä 100% tarkkuus onnistuisi digitaalisella alustalla, jos käytössä oleva fontti ja sen pikseliesitys olisi ennalta sovittu. Tuskin näin on. Aika yksinkertaista matematiikkaa. -jari
VastaaPoistaBlogialusta heikentää kuvan laatua, joten siitä ei voi suoraan tehdä johtopäätöksiä. Png-kuvatiedoston pystymitta oli 1089 pikseliä.
VastaaPoistaJotta tekoäly ei oppisi samasta tekstistä, tein kokeen uusimman Tivi-lehden kolumnista leikatulla näytteellä, joka oli takuulla riittävän isolla fontilla. Sen tulkinta meni paremmin, vain "vas-taanottaneiden" muuttui "vasta-annottaneiden", mutta senkin voi laittaa tavutuksen piikkiin (alkuperäisessä tekstissä tavutus rivin lopussa, ChatGPT:n tekstissä keskellä riviä). Jostain syystä tekoäly kuitenkin tulkitsi joka toisen lauseen lihavoiduksi - no, se on helppo korjata tekstistä, mutta ihmetyttää silti.
Näistä LLM kielimalleista voi ajatella että ne toimivat samankaltaisesti kuten oikeatkin ihmiset, mutta tekevät myös samankaltaisia virheitä. 100% täydellistä jälkeä on turha odottaa. Siksi onkin tärkeää että jos tekoälyn käsittelemä teksti pitää olla oikein, se pitää myös tarkistaa että se todellakin on oikein.
VastaaPoistaMielestäni pahinta on se, että koska useimmiten tekoälyn tuotokset ovat lähes täysin oikein, ihmiset olettavat näin olevan aina. Todellisuudessa tekoäly "korjaa" tekstistä ilmeisiksi kokemiaan "virheitä", kuten Petterin esimerkkikin näytti. Tai sitten sekoilee ihan omiaan, vähän niinkuin oikeatkin ihmiset jos keskittyminen karkaa johonkin epäolennaiseen. Mutta ainakin tällä hetkellä tekoälyltä puuttuu täysin kyky hahmottaa omia tietämyksen rajoja, ja jos kysyt jotain mikä menee vähänkin tämän rajan ulkopuolelle, hallusioinnin määrälle ei ole mitään rajoja.
Ehkä tekoäly sekoilee siksi että ihmiset erottaisivat sen ihmisen tekemisistä, sehän olisi tuolloin lähempänä inhimillistä eläintä nimeltä ihminen
VastaaPoistaTekoäly on aika kehittynyt nykyään, sille voi komentaa että laittaisi tekstin oikein. Esimerkiksi Envaire.com tuottaa tekoälypalveluilta, heiltä voi kysyä, heidän y tunnus on 3377350-1
VastaaPoista