Bayesova formula kada se primjenjuje. Jednostavno objašnjenje Bayesove teoreme

Prilikom izvođenja formule puna verovatnoća pretpostavljalo se da je događaj A, čija je vjerovatnoća morala biti utvrđena, mogao bi se dogoditi jednom od događaja N 1 , N 2 , ... , N n, formirajući kompletnu grupu parno nekompatibilnih događaja. Štaviše, vjerovatnoće ovih događaja (hipoteze) bile su unaprijed poznate. Pretpostavimo da je izveden eksperiment, kao rezultat toga događaj A stiglo je. Ovo dodatne informacije omogućava vam da ponovo procenite verovatnoću hipoteza N i, izračunavši P(H i /A).

ili, koristeći formulu ukupne vjerovatnoće, dobijamo

Ova formula se zove Bayesova formula ili teorem hipoteze. Bayesova formula vam omogućava da "revidirate" vjerovatnoće hipoteza nakon što rezultat eksperimenta koji je rezultirao događajem postane poznat A.

Vjerovatnoće R(N i)− ovo su apriorne vjerovatnoće hipoteza (izračunavaju se prije eksperimenta). Vjerovatnoće P(H i /A)− ovo su posteriorne vjerovatnoće hipoteza (izračunavaju se nakon eksperimenta). Bayesova formula vam omogućava da izračunate posteriorne vjerovatnoće iz njihovih prethodnih vjerovatnoća i iz uvjetnih vjerovatnoća događaja A.

Primjer. Poznato je da je 5% svih muškaraca i 0,25% svih žena daltonisti. Nasumično odabrana osoba na osnovu broja medicinske kartice pati od daltonizma. Kolika je vjerovatnoća da je u pitanju muškarac?

Rješenje. Događaj A– osoba pati od daltonizma. Prostor elementarnih događaja za eksperiment - osoba se bira prema broju medicinske kartice - Ω = ( N 1 , N 2 ) sastoji se od 2 događaja:

N 1 - odabran je muškarac,

N 2 – izabrana je žena.

Ovi događaji se mogu odabrati kao hipoteze.

Prema uslovima problema (slučajni izbor), vjerovatnoće ovih događaja su iste i jednake P(N 1 ) = 0.5; P(N 2 ) = 0.5.

U isto vreme uslovne vjerovatnoće da osoba pati od sljepoće za boje jednaki su, odnosno:

R(A/N 1 ) = 0.05 = 1/20; R(A/N 2 ) = 0.0025 = 1/400.

Pošto je poznato da je odabrana osoba slepa za boje, odnosno da se događaj desio, koristimo Bayesovu formulu da preispitamo prvu hipotezu:

Primjer. Postoje tri kutije identičnog izgleda. Prva kutija sadrži 20 bijelih loptica, druga kutija sadrži 10 bijelih i 10 crnih loptica, a treća kutija sadrži 20 crnih loptica. Bijela kugla se uzima iz nasumično odabrane kutije. Izračunajte vjerovatnoću da je lopta izvučena iz prve kutije.

Rješenje. Označimo sa A događaj - pojava bela lopta. O izboru kutije mogu se postaviti tri pretpostavke (hipoteze): N 1 ,N 2 , N 3 – izbor prvog, drugog i trećeg polja, respektivno.

Budući da je izbor bilo kojeg od kutija jednako moguć, vjerovatnoće hipoteza su iste:

P(N 1 )=P(N 2 )=P(N 3 )= 1/3.

Prema zadatku, vjerovatnoća izvlačenja bijele lopte iz prve kutije je

Verovatnoća izvlačenja bele lopte iz drugog polja

Vjerovatnoća izvlačenja bijele lopte iz treće kutije

Željenu vjerovatnoću pronalazimo koristeći Bayesovu formulu:

Ponavljanje testova. Bernulijeva formula.

Izvodi se N pokusa, u svakom od kojih se događaj A može dogoditi, ali i ne mora, a vjerovatnoća događaja A u svakom pojedinačnom ispitivanju je konstantna, tj. ne menja se od iskustva do iskustva. Već znamo kako pronaći vjerovatnoću događaja A u jednom eksperimentu.

Od posebnog interesa je vjerovatnoća pojave određenog broja puta (m puta) događaja A u n eksperimenata. Takvi problemi se lako mogu riješiti ako su testovi nezavisni.

Def. Poziva se nekoliko testova nezavisno u odnosu na događaj A , ako vjerovatnoća događaja A u svakom od njih ne zavisi od ishoda drugih eksperimenata.

Vjerovatnoća R n (m) pojave događaja A tačno m puta (nenastanak n-m puta, događaj ) u ovim n pokusima. Događaj A se pojavljuje u vrlo različitim sekvencama m puta).

- Bernulijeva formula.

Sljedeće formule su očigledne:

R n (m manje k puta u n pokusa.

P n (m>k) = P n (k+1) + P n (k+2) +…+ P n (n) - vjerovatnoća nastanka događaja A više k puta u n pokusa.

Forma događaja puna grupa, ako će se barem jedan od njih definitivno pojaviti kao rezultat eksperimenta i ako su parno nekompatibilni.

Pretpostavimo da je događaj A može se dogoditi samo zajedno s jednim od nekoliko parno nekompatibilnih događaja koji čine kompletnu grupu. Pozvaćemo događaje ( i= 1, 2,…, n) hipoteze dodatno iskustvo (a priori). Vjerovatnoća pojave događaja A određena je formulom puna vjerovatnoća :

Primjer 16. Postoje tri urne. Prva urna sadrži 5 bijelih i 3 crne kuglice, druga 4 bijele i 4 crne kuglice, a treća 8 bijelih kuglica. Jedna od urni se bira nasumično (to bi moglo značiti, na primjer, da je izbor napravljen od pomoćne urne koja sadrži tri kuglice označene brojevima 1, 2 i 3). Iz ove urne nasumično se izvlači loptica. Kolika je vjerovatnoća da će biti crno?

Rješenje. Događaj A– crna lopta se uklanja. Kada bi se znalo iz koje je urne izvučena lopta, onda bi se željena vjerovatnoća mogla izračunati korištenjem klasične definicije vjerovatnoće. Hajde da uvedemo pretpostavke (hipoteze) o tome koja je urna odabrana za vađenje lopte.

Lopta se može izvući ili iz prve urne (nagađanje), ili iz druge (nagađanje), ili iz treće (nagađanje). Budući da su jednake šanse za odabir bilo koje urne, onda .

Iz toga slijedi

Primjer 17. Električne lampe se proizvode u tri fabrike. Prva fabrika proizvodi 30% ukupan broj električne lampe, druga – 25%,
a treći - ostalo. Proizvodi prve fabrike sadrže 1% neispravnih električnih lampi, druge - 1,5%, treće - 2%. Prodavnica prima proizvode iz sve tri fabrike. Kolika je vjerovatnoća da je lampa kupljena u trgovini neispravna?

Rješenje. Moraju se napraviti pretpostavke u kojoj je biljci proizvedena sijalica. Znajući ovo, možemo pronaći vjerovatnoću da je neispravan. Hajde da uvedemo notaciju za događaje: A– ispostavilo se da je kupljena električna lampa neispravna, – lampa je proizvedena u prvom pogonu, – lampa je proizvedena u drugom pogonu,
– lampu je proizvela treća fabrika.

Pronalazimo željenu vjerovatnoću koristeći formulu ukupne vjerovatnoće:

Bayesova formula. Neka - puna grupa parno nekompatibilni događaji (hipoteze). A– slučajni događaj. onda,

Posljednja formula koja omogućava da se ponovo procijene vjerovatnoće hipoteza nakon što je poznat rezultat testa koji je rezultirao događajem A zove se Bayesova formula .

Primjer 18. U prosjeku, 50% pacijenata sa bolešću se prima u specijaliziranu bolnicu TO, 30% – sa bolešću L, 20 % –
sa bolešću M. Vjerovatnoća potpunog izlječenja bolesti K jednako 0,7 za bolesti L I M ove vjerovatnoće su 0,8 i 0,9, respektivno. Pacijent koji je primljen u bolnicu otpušten je zdrav. Pronađite vjerovatnoću da je ovaj pacijent bolovao od bolesti K.

Rješenje. Hajde da uvedemo hipoteze: – pacijent je bolovao od neke bolesti TO L, – pacijent je patio od neke bolesti M.

Tada, prema uslovima problema, imamo . Hajde da predstavimo događaj A– pacijent primljen u bolnicu zdrav je otpušten. Po stanju

Koristeći formulu ukupne vjerovatnoće dobijamo:

Prema Bayesovoj formuli.

Primjer 19. Neka u urni bude pet loptica i sva nagađanja o broju bijelih kuglica jednako su moguća. Iz urne se nasumice uzima loptica i ispada da je bijela. Koja je pretpostavka o početnom sastavu urne najvjerovatnija?

Rješenje. Neka bude hipoteza da se u urni nalaze bijele kuglice , tj. može se napraviti šest pretpostavki. Tada, prema uslovima problema, imamo .

Hajde da predstavimo događaj A– nasumično uzeta bijela kugla. Hajde da izračunamo. Budući da , tada prema Bayesovoj formuli imamo:

Dakle, najvjerovatnija hipoteza je zato što .

Primjer 20. Dva od tri nezavisna elementa računarskog uređaja su otkazala. Odrediti vjerovatnoću otkazivanja prvog i drugog elementa ako su vjerovatnoće otkaza prvog, drugog i trećeg elementa 0,2; 0,4 i 0,3.

Rješenje. Označimo sa A događaj – dva elementa su otkazala. Mogu se postaviti sljedeće hipoteze:

– prvi i drugi element su otkazali, ali treći element je u funkciji. Pošto elementi rade nezavisno, primenjuje se teorema množenja:

Ko je Bayes? i kakve to veze ima sa menadžmentom? - može uslijediti sasvim pošteno pitanje. Za sada, vjerujte mi na riječ: ovo je jako važno!.. i zanimljivo (barem meni).

Koja je paradigma u kojoj većina menadžera radi: ako nešto posmatram, koje zaključke mogu izvući iz toga? Šta Bayes uči: šta zapravo mora postojati da bih to nešto posmatrao? Upravo tako se razvijaju sve nauke, a on o tome piše (citiram po sećanju): osoba koja nema teoriju u glavi će zazirati od jedne ideje do druge pod uticajem razni događaji(zapažanja). Nisu uzalud rekli: nema ništa praktičnije od dobre teorije.

Primjer iz prakse. Moj podređeni griješi, a moj kolega (šef drugog odjela) kaže da bi na nesavjesnog radnika bilo potrebno izvršiti menadžerski uticaj (odnosno kazniti/grditi). A znam da ovaj zaposlenik obavi 4-5 hiljada istih operacija mjesečno i za to vrijeme ne napravi više od 10 grešaka. Osjećate li razliku u paradigmi? Moj kolega reaguje na zapažanje, a ja a priori znam da zaposleni pravi određeni broj grešaka, tako da još jedna nije uticala na to saznanje... E sad, ako se na kraju meseca ispostavi da ima, na primjer, 15 takvih grešaka!.. To će već biti razlog da se prouče razlozi neusklađenosti sa standardima.

Uvjereni u važnost Bayesovskog pristupa? Zaintrigirani? Nadam se da da. A sada i muva u masti. Nažalost, Bayesove ideje rijetko se daju odmah. Iskreno nisam imao sreće, jer sam se sa ovim idejama upoznao kroz popularnu literaturu, nakon čitanja koje su ostala mnoga pitanja. Kada sam planirao da napišem bilješku, prikupio sam sve što sam prethodno zabilježio na Bayesu, a također sam proučio ono što je napisano na internetu. Predstavljam vašoj pažnji svoje najbolje mišljenje o ovoj temi. Uvod u Bayesovu vjerovatnoću.

Derivacija Bayesove teoreme

Razmotrimo sljedeći eksperiment: pozivamo bilo koji broj koji leži na segmentu i bilježimo kada je taj broj, na primjer, između 0,1 i 0,4 (slika 1a). Vjerovatnoća ovog događaja jednaka je odnosu dužine segmenta i ukupne dužine segmenta, pod uslovom da se pojavljivanje brojeva na segmentu jednako vjerovatno. Matematički se ovo može napisati str(0,1 <= x <= 0,4) = 0,3, или кратко r(X) = 0,3, gdje je r- vjerovatnoća, X– slučajna varijabla u rasponu, X– slučajna varijabla u rasponu . Odnosno, vjerovatnoća pogađanja segmenta je 30%.

Rice. 1. Grafička interpretacija vjerovatnoća

Sada razmotrite kvadrat x (slika 1b). Recimo da moramo imenovati parove brojeva ( x, y), od kojih je svaki veći od nule i manji od jedan. Verovatnoća da x(prvi broj) će biti unutar segmenta (plavo područje 1), jednako omjeru površine plave površine i površine cijelog kvadrata, odnosno (0,4 – 0,1) * (1 – 0 ) / (1 * 1) = 0, 3, odnosno istih 30%. Verovatnoća da y koja se nalazi unutar segmenta (zelena površina 2) jednaka je omjeru površine zelene površine i površine cijelog kvadrata str(0,5 <= y <= 0,7) = 0,2, или кратко r(Y) = 0,2.

Šta možete naučiti o vrijednostima u isto vrijeme? x I y. Na primjer, kolika je vjerovatnoća da u isto vrijeme x I y nalaze se u odgovarajućim datim segmentima? Da biste to učinili, morate izračunati omjer površine područja 3 (presjek zelenih i plavih pruga) i površine cijelog kvadrata: str(X, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

Sada recimo da želimo da znamo kolika je to verovatnoća y je u intervalu ako x je već u opsegu. To je, u stvari, imamo filter i kada zovemo parove ( x, y), tada odmah odbacujemo one parove koji ne zadovoljavaju uslov za pronalaženje x u datom intervalu, a zatim od filtriranih parova računamo one za koje y zadovoljava naš uslov i smatra vjerovatnoću kao omjer broja parova za koje y leži u gornjem segmentu do ukupnog broja filtriranih parova (odnosno za koji x leži u segmentu). Ovu vjerovatnoću možemo zapisati kao str(Y|X at X pogodi domet." Očigledno, ova vjerovatnoća je jednaka omjeru površine površine 3 i površine plave površine 1. Površina površine 3 je (0,4 – 0,1) * (0,7 – 0,5) = 0,06, a površina plave površine 1 ( 0,4 – 0,1) * (1 – 0) = 0,3, tada je njihov omjer 0,06 / 0,3 = 0,2. Drugim riječima, vjerovatnoća pronalaska y na segmentu pod uslovom da x pripada segmentu str(Y|X) = 0,2.

U prethodnom pasusu zapravo smo formulirali identitet: str(Y|X) = str(X, Y) / p( X). Piše: „vjerovatnoća udarca at u rasponu, pod uslovom da X pogoditi raspon, jednak omjeru vjerovatnoće istovremenog pogotka X u rasponu i at na domet, na vjerovatnoću pogađanja X u domet."

Analogno, razmotrite vjerovatnoću str(X|Y). zovemo parove ( x, y) i filtrirajte one za koje y leži između 0,5 i 0,7, tada je vjerovatnoća da x je u intervalu pod uslovom da y pripada segmentu jednak je omjeru površine ​​regije 3 i površine​​zelene regije 2: str(X|Y) = str(X, Y) / str(Y).

Imajte na umu da su vjerovatnoće str(X, Y) I str(Y, X) su jednaki, a oba su jednaka omjeru površine zone 3 i površine cijelog kvadrata, ali vjerovatnoće str(Y|X) I str(X|Y) nisu jednaki; dok je vjerovatnoća str(Y|X) jednak je omjeru površine regije 3 i regije 1, i str(X|Y) – region 3 do region 2. Imajte na umu i to str(X, Y) se često označava kao str(X&Y).

Stoga smo uveli dvije definicije: str(Y|X) = str(X, Y) / p( X) I str(X|Y) = str(X, Y) / str(Y)

Prepišimo ove jednakosti u obliku: str(X, Y) = str(Y|X) * p( X) I str(X, Y) = str(X|Y) * str(Y)

Pošto su leve strane jednake, desne strane su jednake: str(Y|X) * p( X) = str(X|Y) * str(Y)

Ili možemo prepisati posljednju jednakost kao:

Ovo je Bayesova teorema!

Da li takve jednostavne (gotovo tautološke) transformacije zaista dovode do velike teoreme!? Ne žurite sa zaključcima. Hajde da ponovo razgovaramo o tome šta imamo. Postojala je određena početna (a priori) vjerovatnoća r(X), da je slučajna varijabla X ravnomjerno raspoređen na segmentu spada u raspon X. Desio se događaj Y, kao rezultat čega smo dobili posteriornu vjerovatnoću iste slučajne varijable X: r(X|Y), a ova vjerovatnoća se razlikuje od r(X) po koeficijentu. Događaj Y koji se nazivaju dokazi, koji manje-više potvrđuju ili opovrgavaju X. Ovaj koeficijent se ponekad naziva moć dokaza. Što je dokaz jači, to više činjenica posmatranja Y mijenja prethodnu vjerovatnoću, to se posteriorna vjerovatnoća više razlikuje od prethodne. Ako su dokazi slabi, posteriorna vjerovatnoća je skoro jednaka prethodnoj.

Bayesova formula za diskretne slučajne varijable

U prethodnom dijelu smo izveli Bayesovu formulu za kontinuirane slučajne varijable x i y definirane na intervalu. Razmotrimo primjer sa diskretnim slučajnim varijablama, od kojih svaka uzima dvije moguće vrijednosti. Tokom rutinskih medicinskih pregleda ustanovljeno je da u četrdesetoj godini života 1% žena boluje od raka dojke. 80% žena oboljelih od raka dobije pozitivne rezultate mamografije. 9,6% zdravih žena takođe dobija pozitivne rezultate mamografije. Prilikom pregleda, žena ove starosne grupe dobila je pozitivan nalaz mamografije. Koja je vjerovatnoća da ona zaista ima rak dojke?

Linija rasuđivanja/kalkulacije je sljedeća. Od 1% pacijenata oboljelih od raka, mamografija će dati 80% pozitivnih rezultata = 1% * 80% = 0,8%. Od 99% zdravih žena, mamografija će dati 9,6% pozitivnih rezultata = 99% * 9,6% = 9,504%. Ukupno 10,304% (9,504% + 0,8%) sa pozitivnim nalazom mamografije, samo 0,8% je bolesno, a preostalih 9,504% je zdravo. Dakle, vjerovatnoća da žena sa pozitivnim mamografom ima rak je 0,8% / 10,304% = 7,764%. Da li ste mislili 80% ili tako nešto?

U našem primjeru Bayesova formula ima sljedeći oblik:

Razgovarajmo još jednom o “fizičkom” značenju ove formule. X– slučajna varijabla (dijagnoza), uzimajući vrijednosti: X 1- bolestan i X 2– zdravo; Y– slučajna varijabla (rezultat mjerenja – mamografija), uzimajući vrijednosti: Y 1- pozitivan rezultat i Y2– negativan rezultat; p(X 1)– vjerovatnoća bolesti prije mamografije (a priori vjerovatnoća) jednaka 1%; p(Y 1 |X 1 ) – vjerovatnoća pozitivnog rezultata ako je pacijent bolestan (uslovna vjerovatnoća, pošto se mora specificirati u uslovima zadatka), jednaka 80%; p(Y 1 |X 2 ) – vjerovatnoća pozitivnog rezultata ako je pacijent zdrav (također uslovna vjerovatnoća) je 9,6%; p(X 2)– vjerovatnoća da je pacijentkinja zdrava prije mamografije (a priori vjerovatnoća) je 99%; p(X 1|Y 1 ) – vjerovatnoća da je pacijentkinja bolesna, s obzirom na pozitivan nalaz mamografije (posteriorna vjerovatnoća).

Može se vidjeti da je posteriorna vjerovatnoća (ono što tražimo) proporcionalna prethodnoj vjerovatnoći (početnoj) sa malo složenijim koeficijentom . Još jednom da naglasim. Po mom mišljenju, ovo je fundamentalni aspekt Bayesovskog pristupa. Mjerenje ( Y) dodao je određenu količinu informacija onome što je prvobitno bilo dostupno (a priori), što je razjasnilo naše znanje o objektu.

Primjeri

Da biste konsolidirali materijal koji ste pokrili, pokušajte riješiti nekoliko problema.

Primjer 1. Postoje 3 urne; u prvoj su 3 bijele kuglice i 1 crna; u drugom - 2 bijele kuglice i 3 crne; u trećoj su 3 bijele kuglice. Neko nasumce prilazi jednoj od urni i vadi 1 loptu iz nje. Ispostavilo se da je ova lopta bijela. Odrediti posteriorne vjerovatnoće da je lopta izvučena iz 1., 2., 3. urne.

Rješenje. Imamo tri hipoteze: H 1 = (odabrana je prva urna), H 2 = (odabrana je druga urna), H 3 = (odabrana je treća urna). Pošto je urna nasumično odabrana, apriorne vjerovatnoće hipoteza su jednake: P(H 1) = P(H 2) = P(H 3) = 1/3.

Kao rezultat eksperimenta, pojavio se događaj A = (iz odabrane urne je izvučena bijela kugla). Uslovne verovatnoće događaja A pod hipotezama H 1, H 2, H 3: P(A|H 1) = 3/4, P(A|H 2) = 2/5, P(A|H 3) = 1. Na primjer, prva jednakost glasi ovako: “vjerovatnoća izvlačenja bijele kugle ako se izabere prva urna je 3/4 (pošto u prvoj urni ima 4 kugle, a 3 su bijele).”

Koristeći Bayesovu formulu, nalazimo posteriorne vjerovatnoće hipoteza:

Tako su se u svjetlu informacija o nastanku događaja A promijenile vjerovatnoće hipoteza: hipoteza H 3 postala je najvjerovatnija, hipoteza H 2 je postala najmanje vjerovatna.

Primjer 2. Dva strijelca nezavisno pucaju u istu metu, svaki ispaljuje po jedan hitac. Verovatnoća da pogodi metu za prvog strelca je 0,8, za drugog - 0,4. Nakon gađanja pronađena je jedna rupa na meti. Pronađite vjerovatnoću da ova rupa pripada prvom strijelcu (Ishod (obje rupe su se poklopile) se odbacuje kao zanemarljivo malo vjerojatan).

Rješenje. Prije eksperimenta moguće su sljedeće hipoteze: H 1 = (neće pogoditi ni prva ni druga strijela), H 2 = (obje strijele će pogoditi), H 3 - (prvi strijelac će pogoditi, ali drugi neće ), H 4 = (prvi strijelac neće pogoditi, a drugi će pogoditi). Prethodne vjerovatnoće hipoteza:

P(H 1) = 0,2*0,6 = 0,12; P(H2) = 0,8*0,4 = 0,32; P (H 3) = 0,8 * 0,6 = 0,48; P(H 4) = 0,2*0,4 = 0,08.

Uslovne verovatnoće posmatranog događaja A = (postoji jedna rupa u meti) prema ovim hipotezama su jednake: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1

Nakon eksperimenta hipoteze H 1 i H 2 postaju nemoguće, a posteriorne vjerovatnoće hipoteza H 3 i H 4 prema Bayesovoj formuli će biti:

Bayes protiv neželjene pošte

Bayesova formula je našla široku primjenu u razvoju filtera za neželjenu poštu. Recimo da želite da obučite računar da odredi koje su poruke e-pošte neželjena pošta. Nastavit ćemo od rječnika i fraza koristeći Bayesove procjene. Hajde da prvo napravimo prostor hipoteza. Hajde da imamo dve hipoteze u vezi sa bilo kojim slovom: H A je neželjena pošta, H B nije neželjena pošta, već normalno, neophodno pismo.

Prvo, hajde da “obučimo” naš budući anti-spam sistem. Uzmimo sva slova koja imamo i podijelimo ih na dvije “gomile” od po 10 slova. Stavimo spam mejlove u jedan i nazovimo ga H A hrpa, a potrebnu korespondenciju u drugi i nazovimo ga H B hrpa. Sada da vidimo: koje riječi i fraze se nalaze u neželjenoj pošti i potrebnim pismima i s kojom učestalošću? Ove riječi i izraze nazvat ćemo dokazi i označiti ih E 1 , E 2 ... Ispostavilo se da se najčešće korištene riječi (na primjer, riječi “like”, “vaš”) u hrpama H A i H B javljaju sa približno istu frekvenciju. Dakle, prisustvo ovih riječi u pismu nam ništa ne govori o tome kojoj gomili da ga dodijelimo (slab dokaz). Dodijelimo ovim riječima neutralnu ocjenu vjerovatnoće "spam", recimo 0,5.

Neka se fraza "govorni engleski" pojavljuje u samo 10 slova, i to češće u neželjenim pismima (na primjer, u 7 neželjenih pisama od svih 10) nego u potrebnim (u 3 od 10). Dajmo ovoj frazi višu ocjenu za neželjenu poštu: 7/10, i nižu ocjenu za normalne e-poruke: 3/10. Suprotno tome, pokazalo se da je riječ „drug“ bila češća u normalnim slovima (6 od 10). A onda smo dobili kratko pismo: “Prijatelju moj! Kakav je tvoj govorni engleski?”. Pokušajmo procijeniti njegovu „spamnost“. Dat ćemo opće procjene P(H A), P(H B) slova koje pripada svakoj hrpi koristeći donekle pojednostavljenu Bayesovu formulu i naše približne procjene:

P(H A) = A/(A+B), Gdje A = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n = (1 – p a1)*(1 – p a2)*… *(1 – p an).

Tabela 1. Pojednostavljena (i nepotpuna) Bayesova procjena pisanja.

Tako je naše hipotetičko pismo dobilo ocjenu vjerovatnoće pripadnosti s naglaskom na „spammy“. Možemo li odlučiti da bacimo pismo na jednu od gomila? Postavimo pragove odluke:

• Pretpostavićemo da slovo pripada hrpi H i ako je P(H i) ≥ T.
• Slovo ne pripada hrpi ako je P(H i) ≤ L.
• Ako je L ≤ P(H i) ≤ T, onda se ne može donijeti odluka.

Možete uzeti T = 0,95 i L = 0,05. Budući da je za predmetno pismo i 0,05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

Da. Hajde da izračunamo rezultat za svaki dokaz na drugačiji način, baš kao što je Bayes zapravo predložio. neka:

F a je ukupan broj neželjenih e-poruka;

F ai je broj slova sa sertifikatom i u gomili neželjene pošte;

F b je ukupan broj potrebnih slova;

F bi je broj slova sa sertifikatom i u gomili potrebnih (relevantnih) slova.

Tada je: p ai = F ai /F a, p bi = F bi /F b. P(H A) = A/(A+B), P(H B) = B/(A+B), Gdje A = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n

Imajte na umu da su procjene dokaza riječi p ai i p bi postale objektivne i da se mogu izračunati bez ljudske intervencije.

Tabela 2. Tačnija (ali nepotpuna) Bayesova procjena na osnovu dostupnih karakteristika iz pisma

Dobili smo vrlo definitivan rezultat - uz veliku prednost, slovo se može klasificirati kao željeno slovo, budući da je P(H B) = 0,997 > T = 0,95. Zašto se rezultat promijenio? Pošto smo koristili više informacija – uzeli smo u obzir broj slova u svakoj od hrpa i, usput rečeno, mnogo tačnije odredili procjene p ai i p bi. Odredili smo ih na isti način kao i sam Bayes, računajući uslovne vjerovatnoće. Drugim riječima, p a3 je vjerovatnoća da se riječ “prijatelj” pojavi u pismu, pod uslovom da ovo slovo već pripada spam hrpi H A . Rezultat nije dugo čekao – čini se da možemo sa većom sigurnošću donijeti odluku.

Bayes protiv korporativnih prijevara

Zanimljivu primjenu Bayesovog pristupa opisao je MAGNUS8.

Moj trenutni projekat (IS za otkrivanje prevare u proizvodnom preduzeću) koristi Bayesovu formulu za određivanje verovatnoće prevare (prevare) u prisustvu/odsustvu nekoliko činjenica koje indirektno svedoče u prilog hipotezi o mogućnosti počinjenja prevare. Algoritam se samouči (sa povratnom spregom), tj. preračunava svoje koeficijente (uslovne vjerovatnoće) nakon stvarne potvrde ili nepotvrđivanja prijevare prilikom provjere od strane službe ekonomske sigurnosti.

Vjerovatno je vrijedno reći da takve metode pri dizajniranju algoritama zahtijevaju prilično visoku matematičku kulturu programera, jer najmanja greška u izvođenju i/ili implementaciji računskih formula će poništiti i diskreditovati čitav metod. Tome su posebno sklone probabilističke metode, budući da ljudsko razmišljanje nije prilagođeno radu sa probabilističkim kategorijama i, shodno tome, nema „vidljivosti“ i razumijevanja „fizičkog značenja“ među- i konačnih probabilističkih parametara. Ovo shvatanje postoji samo za osnovne koncepte teorije verovatnoće, a onda samo treba veoma pažljivo kombinovati i izvoditi složene stvari prema zakonima teorije verovatnoće - zdrav razum više neće pomoći za kompozitne objekte. To je posebno povezano s prilično ozbiljnim metodološkim bitkama koje se vode na stranicama modernih knjiga o filozofiji vjerojatnosti, kao i velikim brojem sofizama, paradoksa i znatiželjnih zagonetki na ovu temu.

Još jedna nijansa sa kojom sam morao da se suočim je da je, nažalost, skoro sve, čak i manje-više KORISNO U PRAKSI na ovu temu, napisano na engleskom. U izvorima na ruskom jeziku uglavnom postoji samo dobro poznata teorija s demonstracijskim primjerima samo za najprimitivnije slučajeve.

U potpunosti se slazem sa posljednjom primjedbom. Na primjer, Google, kada je pokušavao pronaći nešto poput "knjige Bayesian Probability", nije proizveo ništa razumljivo. Istina, izvijestio je da je knjiga sa Bayesovom statistikom zabranjena u Kini. (Profesor statistike Andrew Gelman izvijestio je na blogu Univerziteta Columbia da je njegova knjiga, Analiza podataka s regresijom i višeslojnim/hijerarhijskim modelima, zabranjena za objavljivanje u Kini. Tamošnji izdavač je izvijestio da "knjigu nisu odobrile vlasti zbog raznih politički osjetljivih materijal u tekstu.") Pitam se da li je sličan razlog doveo do nedostatka knjiga o Bayesovskoj vjerovatnoći u Rusiji?

Konzervativizam u obradi ljudskih informacija

Vjerovatnoće određuju stepen neizvjesnosti. Vjerovatnoća, i prema Bayesu i prema našim intuicijama, je jednostavno broj između nule i onoga koji predstavlja stepen do kojeg donekle idealizirana osoba vjeruje da je izjava istinita. Razlog zašto je osoba donekle idealizirana je taj što zbir njenih vjerovatnoća za dva međusobno isključiva događaja mora biti jednak njegovoj vjerovatnoći da se dogodi bilo koji događaj. Svojstvo aditivnosti ima takve posljedice da malo pravih ljudi može ispuniti sve njih.

Bayesova teorema je trivijalna posljedica svojstva aditivnosti, neosporna i s kojom se slažu svi probabilisti, Bayesovi i drugi. Jedan od načina da se ovo napiše je sljedeći. Ako je P(H A |D) naknadna vjerovatnoća da je hipoteza A bila nakon što je uočena data vrijednost D, P(H A) je njena prethodna vjerovatnoća prije nego što je data vrijednost D uočena, P(D|H A ) je vjerovatnoća da je data vrijednost D će se posmatrati ako je H A tačno, a P(D) je bezuslovna vjerovatnoća date vrijednosti D, tada

(1) P(H A |D) = P(D|H A) * P(H A) / P(D)

P(D) je najbolje smatrati normalizujućom konstantom, koja uzrokuje da se posteriorne vjerovatnoće zbroje u jedinstvo nad iscrpnim skupom međusobno isključivih hipoteza koje se razmatraju. Ako je potrebno izračunati, moglo bi biti ovako:

Ali češće se P(D) eliminiše, a ne izračunava. Pogodan način da se ovo eliminiše je transformacija Bayesove teoreme u oblik omjera vjerovatnoće i šanse.

Razmotrite drugu hipotezu, H B , koja se međusobno isključuje sa HA, i promijenite svoje mišljenje o njoj na osnovu iste date količine koja je promijenila vaše mišljenje o HA Bayesovoj teoremi

(2) P(H B |D) = P(D|H B) * P(H B) / P(D)

Sada podijelimo jednačinu 1 sa jednačinom 2; rezultat će biti ovakav:

gdje su Ω 1 posteriorne šanse u korist H A do H B , Ω 0 su prethodne šanse, a L je veličina poznata statističarima kao omjer vjerovatnoće. Jednačina 3 je ista relevantna verzija Bayesove teoreme kao i jednačina 1, i često je znatno korisnija, posebno za eksperimente koji uključuju hipoteze. Bayesovci tvrde da je Bayesova teorema formalno optimalno pravilo o tome kako revidirati mišljenja u svjetlu novih dokaza.

Zanima nas da uporedimo idealno ponašanje definisano Bayesovom teoremom sa stvarnim ponašanjem ljudi. Da bismo vam dali neku predstavu o tome što ovo znači, hajde da probamo eksperiment s vama kao ispitanikom. Ova torba sadrži 1000 žetona za poker. Imam dvije takve vrećice, jedna sa 700 crvenih i 300 plavih čipsa, a druga sa 300 crvenih i 700 plavih. Bacio sam novčić da odredim koji da koristim. Dakle, ako su naša mišljenja ista, vaša trenutna vjerovatnoća da dobijete vrećicu koja sadrži više crvenih čipsa je 0,5. Sada pravite nasumični uzorak sa povratom nakon svakog čipa. U 12 žetona dobijate 8 crvenih i 4 plava. Sada, na osnovu svega što znate, kolika je vjerovatnoća da dobijete vreću sa najviše crvenih? Jasno je da je veći od 0,5. Molimo vas da ne nastavljate čitati dok ne snimite svoj rezultat.

Ako ste tipični ispitanik, vaš rezultat je pao u rasponu od 0,7 do 0,8. Međutim, ako bismo uradili odgovarajući proračun, odgovor bi bio 0,97. Zaista je vrlo rijetko da osoba kojoj se ranije nije pokazao utjecaj konzervativizma može doći do tako visoke procjene, čak i ako je poznavala Bayesovu teoremu.

Ako je udio crvenog čipsa u vrećici r, zatim vjerovatnoća primanja r crveni čips i ( n –r) plava u n uzorci sa povratom – p r (1–p)n–r. Dakle, u tipičnom eksperimentu sa torbom i poker čipovima, ako NA znači da je udio crvenih čipsa r A I NB– znači da je udio rB, zatim omjer vjerovatnoće:

Kada se primjenjuje Bayesova formula, potrebno je uzeti u obzir samo vjerovatnoću stvarnog opažanja, a ne vjerovatnoće drugih zapažanja koje je on mogao napraviti, ali nije. Ovaj princip ima široke implikacije za sve statističke i nestatističke primjene Bayesove teoreme; to je najvažnije tehničko sredstvo za Bayesovo rasuđivanje.

Bayesova revolucija

Vaši prijatelji i kolege govore o nečemu što se zove "Bayesova teorema" ili "Bayesovo pravilo" ili o nečemu što se zove Bayesovo rezonovanje. Ovo ih stvarno zanima, pa odete na internet i pronađete stranicu o Bayesovoj teoremi i... To je jednačina. I to je to... Zašto matematički koncept stvara takav entuzijazam u glavama? Kakva se to „Bajesova revolucija“ dešava među naučnicima, a tvrdi se da se čak i sam eksperimentalni pristup može opisati kao njegov poseban slučaj? Koja je tajna koju Bayesovci znaju? Kakvu vrstu svjetlosti vide?

Bayesova revolucija u nauci nije se dogodila jer je sve više i više kognitivnih naučnika odjednom počelo primjećivati ​​da mentalni fenomeni imaju Bayesovu strukturu; ne zato što su naučnici u svim oblastima počeli da koriste Bayesovu metodu; već zato što je sama nauka poseban slučaj Bayesove teoreme; eksperimentalni dokazi su Bayesovski dokazi. Bayesovi revolucionari tvrde da kada izvedete eksperiment i dobijete dokaze koji "potvrđuju" ili "pobijaju" vašu teoriju, ta potvrda ili opovrgavanje se događa prema Bayesovim pravilima. Na primjer, morate uzeti u obzir ne samo da vaša teorija može objasniti neki fenomen, već i da postoje druga moguća objašnjenja koja također mogu predvidjeti taj fenomen.

Ranije je najpopularnija filozofija nauke bila stara filozofija, koja je istisnuta Bajesovskom revolucijom. Ideja Karla Poppera da se teorije mogu potpuno falsificirati, ali nikada u potpunosti provjeriti, još je jedan poseban slučaj Bayesovih pravila; ako je p(X|A) ≈ 1 – ako teorija daje ispravna predviđanja, onda posmatranje ~X jako krivotvori A. S druge strane, ako je p(X|A) ≈ 1, a mi posmatramo X, to ne potvrđuje snažno. teorija; možda je moguć neki drugi uslov B, takav da je p(X|B) ≈ 1, i pod kojim zapažanje X ne svedoči u korist A, ali svedoči u korist B. Da bi opažanje X definitivno potvrdilo A, imali bismo ne znati da je p(X|A) ≈ 1 i da je p(X|~A) ≈ 0, što ne možemo znati jer ne možemo razmotriti sva moguća alternativna objašnjenja. Na primjer, kada je Ajnštajnova teorija opšte relativnosti nadmašila Njutnovu dobro podržanu teoriju gravitacije, ona je sva predviđanja Njutnove teorije učinila posebnim slučajem predviđanja Ajnštajnove.

Na sličan način, Popperova tvrdnja da ideja mora biti falsifikabilna može se tumačiti kao manifestacija Bayesovog pravila održanja vjerovatnoće; ako je rezultat X pozitivan dokaz za teoriju, onda rezultat ~X mora do neke mjere opovrgnuti teoriju. Ako pokušate protumačiti i X i ~X kao “potvrđivanje” teorije, Bayesova pravila kažu da je to nemoguće! Da biste povećali vjerovatnoću teorije, morate je podvrgnuti testovima koji potencijalno mogu smanjiti njenu vjerovatnoću; ovo nije samo pravilo za identifikaciju šarlatana u nauci, već posljedica Bayesove teoreme vjerovatnoće. S druge strane, Popperova ideja da je potreban samo falsifikat, a nije potrebna potvrda je netačna. Bayesova teorema pokazuje da je krivotvorenje vrlo jak dokaz u poređenju sa potvrdom, ali je krivotvorenje još uvijek vjerovatnoće po prirodi; ne upravlja se fundamentalno drugačijim pravilima i na taj se način ne razlikuje od potvrde, kako tvrdi Popper.

Dakle, nalazimo da su mnoge pojave u kognitivnim naukama, plus statističke metode koje koriste naučnici, plus sama naučna metoda, posebni slučajevi Bayesove teoreme. Ovo je Bayesova revolucija.

Dobrodošli u Bayesian Conspiration!

Literatura o Bayesovoj vjerovatnoći

2. Nobelovac za ekonomiju Kahneman (i njegovi drugovi) opisao je mnogo različitih Bayesovih primjena u divnoj knjizi. Samo u svom kratkom sažetku ove veoma velike knjige, izbrojao sam 27 spominjanja imena jednog prezbiterijanskog sveštenika. Minimalne formule. (.. jako mi se dopalo. Istina, malo je komplikovano, ima dosta matematike (a gdje bismo bez nje), ali pojedina poglavlja (npr. Poglavlje 4. Informacije) su jasno na temu. Preporučujem svima čak i ako vam je matematika teška, pročitajte svaki drugi red, preskočite matematiku i tražite korisne žitarice...

14. (dodatak od 15.01.2017), poglavlje iz knjige Tonyja Krilija. 50 ideja o kojima trebate znati. Matematika.

Nobelovac fizičar Richard Feynman, govoreći o jednom filozofu s posebno velikim samovažnošću, jednom je rekao: „Ono što me iritira nije filozofija kao nauka, već pompoznost koja se stvara oko nje. Kad bi se bar filozofi mogli smijati sami sebi! Kad bi samo mogli da kažu: „Ja kažem da je ovako, ali Fon Lajpcig je mislio da je drugačije, i on takođe zna nešto o tome.” Kad bi se barem sjetili pojasniti da je to samo njihovo .

Bayesova teorema je detaljno opisana u posebnom članku. To je divno djelo, ali ima 15.000 riječi. Isti prijevod članka od Kalida Azada ukratko objašnjava samu suštinu teoreme.

• Rezultati istraživanja i testiranja nisu događaji. Postoji metoda za dijagnosticiranje raka, a postoji i sam događaj – prisustvo bolesti. Algoritam provjerava da li pismo sadrži neželjenu poštu, ali događaj (spam je stvarno stigao poštom) mora se uzeti u obzir odvojeno od rezultata njegovog rada.
• Postoje greške u rezultatima testa.Često naše metode istraživanja otkrivaju čega nema (lažno pozitivno) i ne otkrivaju ono što postoji (lažno negativno).
• Uz pomoć testova dobijamo vjerovatnoće određenog ishoda. Prečesto sami gledamo rezultate testa i ne uzimamo u obzir greške metode.
• Lažno pozitivni rezultati iskrivljuju sliku. Pretpostavimo da pokušavate identificirati neki vrlo rijedak fenomen (1 slučaj na 1.000.000). Čak i ako je vaša metoda tačna, velike su šanse da će vaš pozitivan rezultat zapravo biti lažno pozitivan.
• Pogodnije je raditi s prirodnim brojevima. Bolje reći: 100 od 10.000, a ne 1%. Ovim pristupom bit će manje grešaka, posebno pri množenju. Recimo da trebamo nastaviti raditi sa ovim 1%. Obrazloženje u procentima je nespretno: “u 80% slučajeva od 1% bilo je pozitivnog ishoda.” Informaciju je mnogo lakše uočiti na sljedeći način: „u 80 slučajeva od 100 uočen je pozitivan ishod“.
• Čak iu nauci, svaka činjenica je samo rezultat primjene metode. Sa filozofske tačke gledišta, naučni eksperiment je samo test sa mogućnošću greške. Postoji metoda koja otkriva hemijsku supstancu ili neki fenomen, a tu je i sam događaj – prisustvo ovog fenomena. Naše metode ispitivanja mogu dati lažne rezultate, a sva oprema ima inherentnu grešku.

Bayesova teorema pretvara rezultate testa u vjerovatnoće događaja.

• Ako znamo vjerovatnoću događaja i vjerovatnoću lažno pozitivnih i lažno negativnih, možemo ispraviti greške mjerenja.
• Teorema povezuje vjerovatnoću događaja sa vjerovatnoćom određenog ishoda. Možemo povezati Pr(A|X): vjerovatnoću događaja A, dati ishod X, i Pr(X|A): vjerovatnoću ishoda X, dati događaj A.

Hajde da razumemo metodu

Članak na koji postoji link na početku ovog eseja ispituje dijagnostičku metodu (mamograf) koja otkriva rak dojke. Razmotrimo ovu metodu detaljno.

• 1% svih žena oboli od raka dojke (i, shodno tome, 99% ga ne dobije)
• 80% mamografija otkriva bolest kada ona zaista postoji (i, shodno tome, 20% je ne otkriva)
• 9,6% testova otkriva rak kada ga nema (i, shodno tome, 90,4% ispravno detektuje negativan rezultat)

Sada napravimo tabelu poput ove:

Kako raditi sa ovim podacima?

• 1% žena oboli od raka dojke
• ako je pacijentu dijagnosticirana bolest, pogledajte prvu kolonu: postoji 80% šanse da je metoda dala točan rezultat, a 20% šanse da je rezultat testa netačan (lažno negativan)
• ako pacijentova bolest nije identificirana, pogledajte drugi stupac. Sa vjerovatnoćom od 9,6% možemo reći da je pozitivan rezultat studije netačan, a sa vjerovatnoćom od 90,4% možemo reći da je pacijent zaista zdrav.

Koliko je tačna metoda?

Pogledajmo sada pozitivan rezultat testa. Kolika je vjerovatnoća da je osoba stvarno bolesna: 80%, 90%, 1%?

razmislimo:

• Postoji pozitivan rezultat. Pogledajmo sve moguće ishode: rezultat može biti ili istinski pozitivan ili lažno pozitivan.
• Vjerovatnoća istinskog pozitivnog rezultata jednaka je: vjerovatnoći dobijanja bolesti pomnoženoj sa vjerovatnoćom da je test zaista otkrio bolest. 1% * 80% = .008
• Vjerovatnoća lažno pozitivnog rezultata jednaka je: vjerovatnoća da ne postoji bolest pomnožena vjerovatnoćom da je metoda pogrešno otkrila bolest. 99% * 9,6% = .09504

Sada tabela izgleda ovako:

Kolika je vjerovatnoća da je osoba stvarno bolesna ako se dobije pozitivan mamograf? Vjerovatnoća događaja je omjer broja mogućih ishoda događaja i ukupnog broja svih mogućih ishoda.

Vjerojatnost događaja = ishodi događaja / svi mogući ishodi

Vjerovatnoća stvarnog pozitivnog rezultata je 0,008. Vjerovatnoća pozitivnog rezultata je vjerovatnoća istinitog pozitivnog ishoda + vjerovatnoća lažno pozitivnog.

(.008 + 0.09504 = .10304)

Dakle, vjerovatnoća bolesti sa pozitivnim rezultatom testa izračunava se na sljedeći način: .008/.10304 = 0.0776. Ova vrijednost je oko 7,8%.

Odnosno, pozitivan rezultat mamografije samo znači da je vjerovatnoća oboljevanja 7,8%, a ne 80% (posljednja vrijednost je samo procijenjena tačnost metode). Ovaj rezultat se u početku čini nerazumljivim i čudnim, ali morate uzeti u obzir: metoda daje lažno pozitivan rezultat u 9,6% slučajeva (što je dosta), tako da će u uzorku biti mnogo lažno pozitivnih rezultata. Za rijetku bolest, većina pozitivnih rezultata će biti lažno pozitivni.

Pogledajmo tabelu i pokušajmo intuitivno shvatiti značenje teoreme. Ako imamo 100 ljudi, samo jedan od njih ima bolest (1%). Za ovu osobu postoji 80% šanse da će metoda dati pozitivan rezultat. Od preostalih 99%, 10% će imati pozitivne rezultate, što nam daje, grubo govoreći, 10 lažno pozitivnih od 100. Ako uzmemo u obzir sve pozitivne rezultate, onda će samo 1 od 11 biti istinit. Dakle, ako se dobije pozitivan rezultat, vjerovatnoća bolesti je 1/11.

Iznad smo izračunali da je ova vjerovatnoća 7,8%, tj. broj je zapravo bliži 1/13, ali ovdje smo uz jednostavno rezoniranje uspjeli pronaći grubu procjenu bez kalkulatora.

Bayesova teorema

Sada opišimo naš tok misli koristeći formulu koja se zove Bayesov teorem. Ova teorema vam omogućava da ispravite rezultate studije u skladu s izobličenjem uzrokovanim lažno pozitivnim rezultatima:

• Pr(A|X) = vjerovatnoća bolesti (A) uz pozitivan rezultat (X). To je upravo ono što želimo da znamo: kolika je vjerovatnoća događaja ako je ishod pozitivan. U našem primjeru iznosi 7,8%.
• Pr(X|A) = vjerovatnoća pozitivnog rezultata (X) u slučaju kada je pacijent stvarno bolestan (A). U našem slučaju, ovo je prava pozitivna vrijednost - 80%
• Pr(A) = vjerovatnoća da ćete se razboljeti (1%)
• Pr(ne A) = vjerovatnoća da se ne razbolite (99%)
• Pr(X|ne A) = vjerovatnoća pozitivnog ishoda studije ako nema bolesti. Ovo je lažno pozitivna stopa - 9,6%.

Možemo zaključiti: da biste dobili vjerovatnoću nekog događaja, trebate podijeliti vjerovatnoću stvarnog pozitivnog ishoda sa vjerovatnoćom svih pozitivnih ishoda. Sada možemo pojednostaviti jednačinu:
Pr(X) je konstanta normalizacije. Dobro nam je poslužio: bez toga, pozitivan rezultat testa bi nam dao 80% šanse da se događaj desi.
Pr(X) je vjerovatnoća bilo kojeg pozitivnog rezultata, bilo da je to istinski pozitivan rezultat u studiji pacijenata (1%) ili lažno pozitivan rezultat u studiji na zdravim ljudima (99%).

U našem primjeru, Pr(X) je prilično velik broj jer je vjerovatnoća lažnih pozitivnih rezultata velika.

Pr(X) daje rezultat od 7,8%, što se na prvi pogled čini kontraintuitivnim.

Značenje teoreme

Sprovodimo testove kako bismo saznali pravo stanje stvari. Ako su naši testovi savršeni i tačni, onda će se vjerovatnoće testova i vjerovatnoće događaja poklopiti. Svi pozitivni rezultati će biti zaista pozitivni, a svi negativni rezultati će biti negativni. Ali mi živimo u stvarnom svijetu. A u našem svijetu testovi daju netačne rezultate. Bayesova teorema uzima u obzir pristrasne rezultate, ispravlja greške, rekonstruiše populaciju i pronalazi vjerovatnoću istinske pozitivne.

Spam filter

Bayesova teorema se uspješno koristi u filterima za neželjenu poštu.

imamo:

• događaj A - spam u pismu
• rezultat testa - sadržaj određenih riječi u pismu:

Filter uzima u obzir rezultate testa (sadržaj određenih riječi u pismu) i predviđa da li pismo sadrži neželjenu poštu. Svi razumiju da se, na primjer, riječ "vijagra" češće nalazi u neželjenoj pošti nego u običnim slovima.

Filter neželjene pošte zasnovan na crnoj listi ima nedostatke - često daje lažno pozitivne rezultate.

Filter za neželjenu poštu Bayesove teoreme koristi uravnotežen i inteligentan pristup: radi s vjerovatnoćama. Kada analiziramo riječi u e-poruci, možemo izračunati vjerovatnoću da je e-mail neželjena pošta umjesto da donosimo odluke da/ne. Ako je vjerovatnoća da pismo sadrži neželjenu poštu 99%, onda pismo zaista jeste.

Tokom vremena, filter se obučava na sve većem uzorku i ažurira vjerovatnoće. Dakle, napredni filteri, kreirani na osnovu Bayesove teoreme, provjeravaju mnoge riječi u nizu i koriste ih kao podatke.

Dodatni izvori:

Oznake: Dodaj oznake

Bayesova formula:

Vjerovatnoće P(H i) hipoteza H i nazivaju se apriorne vjerovatnoće – vjerovatnoće prije izvođenja eksperimenata.
Vjerovatnoće P(A/H i) se nazivaju posteriorne vjerovatnoće - vjerovatnoće hipoteza H i, rafinirane kao rezultat iskustva.

Primjer br. 1. Uređaj se može sastaviti od visokokvalitetnih dijelova i od dijelova običnog kvaliteta. Oko 40% uređaja sastavljeno je od visokokvalitetnih dijelova. Ako je uređaj sastavljen od visokokvalitetnih dijelova, njegova pouzdanost (vjerovatnost rada bez otkaza) tokom vremena t iznosi 0,95; ako je napravljen od delova običnog kvaliteta, njegova pouzdanost je 0,7. Uređaj je testiran za vrijeme t i radio je besprijekorno. Pronađite vjerovatnoću da je napravljen od visokokvalitetnih dijelova.
Rješenje. Moguće su dvije hipoteze: H 1 - uređaj je sastavljen od visokokvalitetnih dijelova; H 2 - uređaj je sastavljen od dijelova običnog kvaliteta. Vjerovatnoće ovih hipoteza prije eksperimenta: P(H 1) = 0,4, P(H 2) = 0,6. Kao rezultat eksperimenta, uočen je događaj A - uređaj je radio besprijekorno za vrijeme t. Uslovne vjerovatnoće ovog događaja pod hipotezama H 1 i H 2 su jednake: P(A|H 1) = 0,95; P(A|H 2) = 0,7. Koristeći formulu (12) nalazimo vjerovatnoću hipoteze H 1 nakon eksperimenta:

Primjer br. 2. Dva strijelca, nezavisno jedan od drugog, pucaju u jednu metu, svaki ispaljuje po jedan hitac. Vjerovatnoća da će prvi strijelac pogoditi metu je 0,8, a za drugog 0,4. Nakon gađanja otkrivena je jedna rupa na meti. Uz pretpostavku da dva strijelca ne mogu pogoditi istu tačku, pronađite vjerovatnoću da prvi strijelac pogodi metu.
Rješenje. Neka događaj A - nakon gađanja, u meti se detektuje jedna rupa. Prije početka snimanja moguće su hipoteze:
H 1 - ni prvi ni drugi strijelac neće pogoditi, vjerovatnoća ove hipoteze: P(H 1) = 0,2 · 0,6 = 0,12.
H 2 - oba strijelca će pogoditi, P(H 2) = 0,8 · 0,4 = 0,32.
H 3 - prvi strijelac će pogoditi, ali drugi neće pogoditi, P(H 3) = 0,8 · 0,6 = 0,48.
H 4 - prvi strijelac neće pogoditi, ali će drugi pogoditi, P (H 4) = 0,2 · 0,4 = 0,08.
Uslovne vjerovatnoće događaja A prema ovim hipotezama su jednake:

Nakon eksperimenta hipoteze H 1 i H 2 postaju nemoguće, a vjerovatnoće hipoteza H 3 i H 4
bit će jednako:

Dakle, najvjerovatnije je da je metu pogodio prvi strijelac.

Primjer br. 3. U instalaterskoj radnji na uređaj je priključen elektromotor. Elektromotore isporučuju tri proizvođača. Na zalihama se nalaze elektromotori iz navedenih fabrika, u količinama od 19,6 odnosno 11 komada, koji mogu da rade bez kvara do kraja garantnog roka, respektivno, sa verovatnoćom od 0,85, 0,76 i 0,71. Radnik nasumce uzima jedan motor i montira ga na uređaj. Odrediti vjerovatnoću da je elektromotor instaliran i bez greške do kraja jamstvenog roka isporučen od prvog, drugog ili trećeg proizvođača.
Rješenje. Prvi test je izbor elektromotora, drugi je rad elektromotora u garantnom roku. Razmotrite sljedeće događaje:
A - elektromotor radi bez kvara do kraja garantnog roka;
H 1 - instalater će uzeti motor iz proizvodnje prvog postrojenja;
H 2 - instalater će uzeti motor iz proizvodnje drugog postrojenja;
H 3 - instalater će preuzeti motor iz proizvodnje trećeg pogona.
Vjerovatnoća događaja A izračunava se korištenjem formule ukupne vjerovatnoće:

Uslovne vjerovatnoće su navedene u iskazu problema:

Nađimo vjerovatnoće

Koristeći Bayesove formule (12), izračunavamo uslovne vjerovatnoće hipoteza H i:

Primjer br. 4. Vjerovatnoće da će tokom rada sistema koji se sastoji od tri elementa, elementi pod brojevima 1, 2 i 3 pokvariti su u odnosu 3:2:5. Vjerovatnoće otkrivanja kvarova ovih elemenata su jednake 0,95; 0,9 i 0,6.

b) U uslovima ovog zadatka, kvar je otkriven tokom rada sistema. Koji element je najvjerovatnije zakazao?

Rješenje.
Neka je A događaj neuspjeha. Uvedemo sistem hipoteza H1 - kvar prvog elementa, H2 - kvar drugog elementa, H3 - otkaz trećeg elementa.
Pronalazimo vjerovatnoće hipoteza:
P(H1) = 3/(3+2+5) = 0,3
P(H2) = 2/(3+2+5) = 0,2
P(H3) = 5/(3+2+5) = 0,5

U skladu sa uslovima zadatka, uslovne verovatnoće događaja A su jednake:
P(A|H1) = 0,95, P(A|H2) = 0,9, P(A|H3) = 0,6

a) Pronađite vjerovatnoću otkrivanja kvara u sistemu.
P(A) = P(H1)*P(A|H1) + P(H2)*P(A|H2) + P(H3)*P(A|H3) = 0,3*0,95 + 0,2*0,9 + 0,5 *0,6 = 0,765

b) U uslovima ovog zadatka, kvar je otkriven tokom rada sistema. Koji element je najvjerovatnije zakazao?
P1 = P(H1)*P(A|H1)/ P(A) = 0,3*0,95 / 0,765 = 0,373
P2 = P(H2)*P(A|H2)/ P(A) = 0,2*0,9 / 0,765 = 0,235
P3 = P(H3)*P(A|H3)/ P(A) = 0,5*0,6 / 0,765 = 0,392

Treći element ima najveću vjerovatnoću.