Što je BERT?
BERT (skraćeno od Bidirectional Encoder Representations from Transformers) je model umjetne inteligencije i algoritam strojnog učenja koji Google koristi za razumijevanje namjere pretraživanja.
Google je BERT objavio kao open-source projekt 2018. godine. Prije BERT-a Google je namjeru pretraživanja utvrđivao analizom ključnih riječi u upitu. S BERT-om Google koristi tehnologiju obrade prirodnog jezika (NLP).
Umjesto da samo uspoređuje ključne riječi iz upita s ključnim riječima na stranicama rezultata, BERT prepoznaje ključne riječi u upitu i analizira kontekst u kojem su korištene. To Googleu omogućuje da bolje razumije što korisnik zapravo traži i da mu prikaže relevantnije rezultate.
BERT nije generativni AI poput ChatGPT-a ili Geminija. On je model za razumijevanje jezika, namijenjen zadacima kao što su klasifikacija teksta, odgovaranje na pitanja i prepoznavanje naziva entiteta. BERT uči analizirajući postojeći tekst, predviđajući skrivene riječi u rečenicama, a ne stvarajući novi sadržaj.
Generativni modeli poput GPT-a proizvode novi tekst – rečenice, odlomke ili cijele dokumente. Nasuprot tome, BERT je specijaliziran za analizu i razumijevanje postojećeg teksta, a ne za njegovo generiranje.
Po čemu se BERT razlikuje od drugih AI modela?
U trenutku kada je objavljen, BERT je bio jedinstven jer je mogao razumjeti kontekst u kojem se neka riječ koristi.
Drugi AI modeli tada su mogli predviđati samo riječi koje dolaze nakon neke riječi ili skupine riječi – bili su jednosmjerni (s lijeva na desno).
BERT, međutim, može predviđati riječi koje dolaze i prije i poslije neke riječi. Zbog toga je dvosmjeran (bidirectional) – analizira tekst u oba smjera: s lijeva na desno i s desna na lijevo.
Kako BERT funkcionira
Klasični modeli strojnog učenja pretvaraju riječi u brojeve (tzv. vektore). Model poput word2vec koristio bi isti vektor za riječ chair u obje rečenice, ne razlikujući značenja.
BERT, međutim, koristi različite vektore jer razumije da se riječ koristi u različitim kontekstima. Drugim riječima, tretira ih kao dvije različite riječi iako se isto pišu. To mu omogućuje da točnije predviđa koje bi se riječi trebale pojaviti u rečenici.
Jedan od glavnih načina treniranja BERT-a je korištenje maskiranih riječi. To su riječi koje su namjerno skrivene tijekom treniranja.
Kod pretraživanja, BERT najprije prepoznaje najvažnije riječi u upitu, zatim analizira riječi oko njih kako bi shvatio njihov kontekst. Upravo zato može otkriti stvarnu namjeru pretraživanja.
Kako BERT poboljšava Googleove rezultate pretraživanja
Google koristi BERT kako bi bolje razumio što korisnik zapravo želi. To je posebno korisno kod razgovornih upita, dugih (long-tail) pretraživanja i upita koji sadrže važne prijedloge poput „for” i „to”, jer upravo oni često nose ključno značenje.
