Siapa Bayes? dan apa hubungannya dengan manajemen? - pertanyaan yang benar-benar wajar mungkin akan menyusul. Untuk saat ini, percayalah pada kata-kata saya: ini sangat penting!.. dan menarik (setidaknya bagi saya).

Paradigma apa yang digunakan sebagian besar manajer: Jika saya mengamati sesuatu, kesimpulan apa yang dapat saya ambil darinya? Apa yang Bayes ajarkan: apa yang sebenarnya harus ada agar saya dapat mengamati sesuatu ini? Ini persis bagaimana semua ilmu pengetahuan berkembang, dan dia menulis tentang ini (saya kutip dari ingatan): seseorang yang tidak memiliki teori di kepalanya akan menghindar dari satu ide ke ide lainnya di bawah pengaruh berbagai peristiwa (pengamatan). Bukan tanpa alasan mereka berkata: tidak ada yang lebih praktis daripada teori yang bagus.

Contoh dari latihan. Bawahan saya melakukan kesalahan, dan kolega saya (kepala departemen lain) mengatakan bahwa pengaruh manajerial perlu diberikan pada karyawan yang lalai (dengan kata lain, menghukum/memarahi). Dan saya tahu bahwa karyawan ini melakukan 4–5 ribu jenis operasi yang sama per bulan, dan selama ini membuat tidak lebih dari 10 kesalahan. Apakah Anda merasakan perbedaan paradigmanya? Rekan saya bereaksi terhadap pengamatan tersebut, dan saya memiliki pengetahuan apriori bahwa karyawan tersebut melakukan sejumlah kesalahan, jadi kesalahan lain tidak mempengaruhi pengetahuan ini... Nah, jika di akhir bulan ternyata ada, misalnya, 15 kesalahan seperti itu!.. Ini sudah menjadi alasan untuk mempelajari alasan ketidakpatuhan terhadap standar.

Yakin akan pentingnya pendekatan Bayesian? Penasaran? Saya harap ya. Dan sekarang lalat di salep. Sayangnya, gagasan Bayesian jarang diberikan secara langsung. Sejujurnya saya kurang beruntung, karena saya mengetahui ide-ide ini melalui literatur populer, setelah membaca masih banyak pertanyaan yang tersisa. Ketika berencana untuk menulis catatan, saya mengumpulkan semua yang saya catat sebelumnya di Bayes, dan juga mempelajari apa yang tertulis di Internet. Saya sampaikan kepada Anda tebakan terbaik saya tentang topik ini. Pengantar Probabilitas Bayesian.

Penurunan teorema Bayes

Perhatikan percobaan berikut: kita memanggil bilangan apa pun yang terletak pada ruas tersebut dan mencatat bila bilangan tersebut, misalnya, antara 0,1 dan 0,4 (Gbr. 1a). Peluang terjadinya kejadian ini sama dengan perbandingan panjang ruas dengan panjang total ruas, dengan syarat munculnya angka-angka pada ruas tersebut. kemungkinan yang sama. Secara matematis hal ini dapat ditulis P(0,1 <= X <= 0,4) = 0,3, или кратко R(X) = 0,3, dimana R- kemungkinan, X– variabel acak dalam rentang , X– variabel acak dalam rentang tersebut. Artinya, kemungkinan mengenai segmen tersebut adalah 30%.

Beras. 1. Interpretasi grafis dari probabilitas

Sekarang perhatikan persegi x (Gbr. 1b). Katakanlah kita harus menyebutkan pasangan bilangan ( X, kamu), yang masing-masing lebih besar dari nol dan kurang dari satu. Kemungkinan itu X(angka pertama) akan berada dalam ruas (luas biru 1), sama dengan perbandingan luas daerah biru dengan luas seluruh persegi, yaitu (0,4 – 0,1) * (1 – 0 ) / (1 * 1) = 0, 3, yaitu sama 30%. Kemungkinan itu kamu terletak di dalam ruas (area hijau 2) sama dengan perbandingan luas area hijau dengan luas seluruh persegi P(0,5 <= y <= 0,7) = 0,2, или кратко R(Y) = 0,2.

Apa yang bisa Anda pelajari tentang nilai pada saat yang sama? X Dan kamu. Misalnya, berapa probabilitasnya pada saat yang sama X Dan kamu berada di segmen tertentu yang sesuai? Untuk melakukan ini, Anda perlu menghitung rasio luas area 3 (perpotongan garis hijau dan biru) dengan luas seluruh persegi: P(X, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

Sekarang katakanlah kita ingin mengetahui berapa kemungkinannya kamu berada dalam interval jika X sudah berada dalam jangkauan. Faktanya, kita memiliki filter dan ketika kita memanggil pasangan ( X, kamu), lalu kita segera membuang pasangan-pasangan yang tidak memenuhi syarat untuk ditemukan X dalam interval tertentu, dan kemudian dari pasangan yang difilter kami menghitung pasangan yang mana kamu memenuhi kondisi kita dan menganggap probabilitas sebagai rasio jumlah pasangan yang mana kamu terletak di segmen di atas dengan jumlah total pasangan yang difilter (yaitu, untuk yang mana X terletak di segmen). Kita dapat menulis probabilitas ini sebagai P(Y|X pada X mencapai jangkauannya." Tentunya peluang tersebut sama dengan perbandingan luas daerah 3 dengan luas daerah biru 1. Luas daerah 3 adalah (0,4 – 0,1) * (0,7 – 0,5) = 0,06, dan luas daerah biru 1 ( 0,4 – 0,1) * (1 – 0) = 0,3, maka perbandingannya adalah 0,06 / 0,3 = 0,2. Dengan kata lain, kemungkinan ditemukannya kamu pada segmen dengan ketentuan itu X termasuk dalam segmen tersebut P(Y|X) = 0,2.

Pada paragraf sebelumnya sebenarnya kita telah merumuskan identitas: P(Y|X) = P(X, Y) / P( X). Bunyinya: “kemungkinan mengenai pada dalam jangkauan, asalkan X jangkauan serangan yang sama dengan rasio kemungkinan serangan secara bersamaan X ke dalam jangkauan dan pada pada jangkauannya, pada kemungkinan mengenainya X ke dalam jangkauan."

Dengan analogi, pertimbangkan kemungkinannya P(X|Y). Kami memanggil pasangan ( X, kamu) dan memfilter yang mana kamu terletak antara 0,5 dan 0,7, maka probabilitasnya X berada dalam interval asalkan kamu termasuk dalam ruas tersebut sama dengan perbandingan luas wilayah 3 dengan luas wilayah hijau 2: P(X|Y) = P(X, Y) / P(Y).

Perhatikan bahwa probabilitasnya P(X, Y) Dan P(Y, X) sama, dan keduanya sama dengan perbandingan luas zona 3 dengan luas seluruh persegi, tetapi probabilitasnya P(Y|X) Dan P(X|Y) tidak sama; sedangkan kemungkinannya P(Y|X) sama dengan perbandingan luas wilayah 3 dengan wilayah 1, dan P(X|Y) – wilayah 3 ke wilayah 2. Perhatikan juga itu P(X, Y) sering dilambangkan sebagai P(X&Y).

Jadi kami memperkenalkan dua definisi: P(Y|X) = P(X, Y) / P( X) Dan P(X|Y) = P(X, Y) / P(Y)

Mari kita tulis ulang persamaan ini dalam bentuk: P(X, Y) = P(Y|X) * P( X) Dan P(X, Y) = P(X|Y) * P(Y)

Karena ruas kirinya sama, maka ruas kanannya juga sama: P(Y|X) * P( X) = P(X|Y) * P(Y)

Atau kita dapat menulis ulang persamaan terakhir menjadi:

Ini adalah teorema Bayes!

Apakah transformasi sederhana (hampir tautologis) seperti itu benar-benar menghasilkan teorema yang hebat!? Jangan terburu-buru mengambil kesimpulan. Mari kita bicara lagi tentang apa yang kita dapatkan. Ada kemungkinan awal (a priori) tertentu R(X), yaitu variabel acak X didistribusikan secara merata pada segmen tersebut termasuk dalam jangkauan X. Suatu peristiwa terjadi Y, sebagai hasilnya kami menerima probabilitas posterior dari variabel acak yang sama X: R(X|Y), dan probabilitas ini berbeda dari R(X) dengan koefisien. Peristiwa Y disebut bukti, kurang lebih membenarkan atau menyangkal X. Koefisien ini kadang-kadang disebut kekuatan bukti. Semakin kuat buktinya, semakin banyak fakta pengamatan Y mengubah probabilitas sebelumnya, semakin besar perbedaan probabilitas posterior dari sebelumnya. Jika buktinya lemah, probabilitas posterior hampir sama dengan probabilitas sebelumnya.

Rumus Bayes untuk variabel acak diskrit

Pada bagian sebelumnya, kita menurunkan rumus Bayes untuk variabel acak kontinu x dan y yang ditentukan pada interval. Mari kita perhatikan contoh dengan variabel acak diskrit, yang masing-masing mengambil dua kemungkinan nilai. Berdasarkan pemeriksaan kesehatan rutin, ditemukan bahwa pada usia empat puluh, 1% wanita menderita kanker payudara. 80% wanita penderita kanker menerima hasil mammogram positif. 9,6% wanita sehat juga menerima hasil mammogram positif. Pada pemeriksaan, seorang wanita pada kelompok usia tersebut mendapat hasil mamografi positif. Seberapa besar kemungkinan dia menderita kanker payudara?

Alur penalarannya/perhitungannya adalah sebagai berikut. Dari 1% penderita kanker, mamografi akan memberikan hasil positif 80% = 1% * 80% = 0,8%. Dari 99% wanita sehat, mamografi akan memberikan hasil positif 9,6% = 99% * 9,6% = 9,504%. Sebanyak 10,304% (9,504% + 0,8%) dengan hasil mamografi positif, hanya 0,8% yang sakit, dan sisanya 9,504% sehat. Jadi, peluang seorang wanita dengan hasil mammogram positif menderita kanker adalah 0,8% / 10,304% = 7,764%. Apakah menurut Anda 80% atau lebih?

Dalam contoh kita, rumus Bayes berbentuk sebagai berikut:

Mari kita bahas lagi arti “fisik” dari rumus ini. X– variabel acak (diagnosis), mengambil nilai: X 1- sakit dan X 2- sehat; Y– variabel acak (hasil pengukuran – mamografi), mengambil nilai: kamu 1- hasil positif dan Y2– hasil negatif; hal(X 1)– kemungkinan sakit sebelum mamografi (probabilitas apriori) sama dengan 1%; P(Y 1 |X 1 ) – probabilitas hasil positif jika pasien sakit (probabilitas bersyarat, karena harus ditentukan dalam kondisi tugas), sama dengan 80%; P(Y 1 |X 2 ) – probabilitas hasil positif jika pasien sehat (juga probabilitas bersyarat) adalah 9,6%; hal(X 2)– kemungkinan pasien sehat sebelum mamografi (probabilitas apriori) adalah 99%; hal(X 1|Y 1 ) – kemungkinan pasien sakit, jika diberikan hasil mamografi positif (probabilitas posterior).

Terlihat bahwa probabilitas posterior (yang kita cari) sebanding dengan probabilitas prior (awal) dengan koefisien yang sedikit lebih kompleks. . Izinkan saya menekankan lagi. Menurut pendapat saya, ini adalah aspek mendasar dari pendekatan Bayesian. Pengukuran ( Y) menambahkan sejumlah informasi tertentu ke apa yang awalnya tersedia (a priori), yang memperjelas pengetahuan kita tentang objek tersebut.

Contoh

Untuk mengkonsolidasikan materi yang telah Anda bahas, cobalah menyelesaikan beberapa masalah.

Contoh 1. Ada 3 guci; yang pertama ada 3 bola putih dan 1 bola hitam; di bola kedua - 2 bola putih dan 3 bola hitam; di kotak ketiga terdapat 3 bola putih. Seseorang mendekati salah satu guci secara acak dan mengeluarkan 1 bola darinya. Bola ini ternyata berwarna putih. Tentukan peluang posterior terambilnya bola dari guci ke-1, ke-2, ke-3.

Larutan. Kita mempunyai tiga hipotesis: H 1 = (guci pertama dipilih), H 2 = (guci kedua dipilih), H 3 = (guci ketiga dipilih). Karena guci dipilih secara acak, probabilitas apriori dari hipotesis adalah sama: P(H 1) = P(H 2) = P(H 3) = 1/3.

Sebagai hasil percobaan, muncul kejadian A = (diambil bola putih dari guci yang dipilih). Peluang bersyarat kejadian A berdasarkan hipotesis H 1, H 2, H 3: P(A|H 1) = 3/4, P(A|H 2) = 2/5, P(A|H 3) = 1. Misalnya persamaan pertama berbunyi seperti ini: “peluang terambilnya bola putih jika terpilih guci pertama adalah 3/4 (karena ada 4 bola di guci pertama, dan 3 diantaranya berwarna putih).”

Dengan menggunakan rumus Bayes, kita mencari probabilitas posterior dari hipotesis:

Jadi, berdasarkan informasi tentang terjadinya peristiwa A, probabilitas hipotesis berubah: hipotesis H 3 menjadi yang paling mungkin, hipotesis H 2 menjadi yang paling kecil kemungkinannya.

Contoh 2. Dua penembak secara terpisah menembak sasaran yang sama, masing-masing melepaskan satu tembakan. Kemungkinan mengenai sasaran untuk penembak pertama adalah 0,8, untuk penembak kedua - 0,4. Setelah ditembak, ditemukan satu lubang di sasaran. Temukan probabilitas bahwa lubang ini milik penembak pertama (Hasilnya (kedua lubang bertepatan) dibuang karena kemungkinannya dapat diabaikan).

Larutan. Sebelum percobaan, hipotesis berikut mungkin dilakukan: H 1 = (panah pertama maupun kedua tidak akan mengenai), H 2 = (kedua panah akan mengenai), H 3 - (penembak pertama akan mengenai, tetapi penembak kedua tidak akan mengenai ), H 4 = (penembak pertama tidak akan mengenai, dan penembak kedua akan mengenai). Probabilitas hipotesis sebelumnya:

P(H 1) = 0,2*0,6 = 0,12; P(H2) = 0,8*0,4 = 0,32; P (H 3) = 0,8 * 0,6 = 0,48; P(H 4) = 0,2*0,4 = 0,08.

Probabilitas bersyarat dari kejadian yang diamati A = (ada satu lubang di target) berdasarkan hipotesis ini adalah sama: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1

Setelah percobaan, hipotesis H 1 dan H 2 menjadi tidak mungkin, dan probabilitas posterior hipotesis H 3 dan H 4 menurut rumus Bayes adalah:

Bayes melawan spam

Rumus Bayes telah diterapkan secara luas dalam pengembangan filter spam. Katakanlah Anda ingin melatih komputer untuk menentukan email mana yang merupakan spam. Kami akan melanjutkan dari kamus dan frasa menggunakan perkiraan Bayesian. Mari kita buat ruang hipotesis terlebih dahulu. Mari kita punya dua hipotesis mengenai surat apa pun: H A adalah spam, H B bukan spam, tetapi surat biasa yang diperlukan.

Pertama, mari kita “melatih” sistem anti-spam kita di masa depan. Mari kita ambil semua huruf yang kita miliki dan bagi menjadi dua “tumpukan” yang masing-masing terdiri dari 10 huruf. Mari kita masukkan email spam ke dalam satu tumpukan dan menyebutnya tumpukan H A, dan korespondensi yang diperlukan di tumpukan lainnya dan menyebutnya tumpukan H B. Sekarang mari kita lihat: kata dan frasa apa yang ditemukan dalam spam dan surat-surat yang diperlukan dan dengan frekuensi berapa? Kami akan menyebut kata dan frasa ini bukti dan menunjukkannya E 1 , E 2 ... Ternyata kata-kata yang umum digunakan (misalnya, kata "seperti", "milikmu") di tumpukan H A dan H B muncul dengan kira-kira frekuensi yang sama. Oleh karena itu, kehadiran kata-kata ini dalam sebuah surat tidak memberi tahu kita apa pun tentang tumpukan mana yang akan digunakan (bukti lemah). Mari kita tetapkan kata-kata ini dengan skor probabilitas “spam” yang netral, katakanlah 0,5.

Biarkan frasa “Bahasa Inggris lisan” muncul hanya dalam 10 huruf, dan lebih sering dalam surat spam (misalnya, dalam 7 dari 10 surat spam) daripada yang diperlukan (dalam 3 dari 10). Mari beri frasa ini peringkat yang lebih tinggi untuk spam: 7/10, dan peringkat yang lebih rendah untuk email biasa: 3/10. Sebaliknya, ternyata kata “buddy” lebih banyak ditemukan pada huruf biasa (6 dari 10). Dan kemudian kami menerima surat pendek: “Temanku! Bagaimana bahasa Inggris lisanmu?”. Mari kita coba mengevaluasi “sifat spamnya”. Kami akan memberikan perkiraan umum P(HA), P(H B) dari sebuah huruf pada setiap heap menggunakan rumus Bayes yang agak disederhanakan dan perkiraan perkiraan kami:

P(HA) = A/(A+B), Di mana A = p a1 *p a2 *…*p an , B = p b1 *p b2 **…*p b n = (1 – p a1)*(1 – p a2)*… *(1 – p an).

Tabel 1. Estimasi penulisan Bayes yang disederhanakan (dan tidak lengkap).

Dengan demikian, surat hipotetis kami menerima kemungkinan skor milik dengan penekanan pada "spam". Bisakah kita memutuskan untuk membuang surat itu ke salah satu tumpukan? Mari kita tetapkan ambang batas keputusan:

• Kita asumsikan surat tersebut termasuk dalam heap H i jika P(H i) ≥ T.
• Suatu huruf tidak termasuk dalam heap jika P(H i) ≤ L.
• Jika L ≤ P(H i) ≤ T, maka tidak ada keputusan yang dapat diambil.

Anda dapat mengambil T = 0,95 dan L = 0,05. Sejak untuk surat yang dimaksud dan 0,05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

Ya. Mari kita hitung skor untuk setiap bukti dengan cara yang berbeda, seperti yang diusulkan Bayes. Membiarkan:

F a adalah jumlah total email spam;

F ai adalah jumlah huruf dengan sertifikat Saya di tumpukan spam;

F b adalah jumlah huruf yang dibutuhkan;

F bi adalah jumlah huruf dengan sertifikat Saya dalam sekumpulan surat yang diperlukan (relevan).

Maka: p ai = F ai /F a, p bi = F bi /F b. P(HA) = A/(A+B), P(H B) = B/(A+B), Di mana A = p a1 *p a2 **…*p an , B = p b1 *p b2 **…*p b n

Perlu diketahui bahwa penilaian kata bukti p ai dan p bi telah menjadi objektif dan dapat dihitung tanpa campur tangan manusia.

Tabel 2. Perkiraan Bayes yang lebih akurat (tetapi tidak lengkap) berdasarkan fitur yang tersedia dari sebuah surat

Kami memperoleh hasil yang sangat pasti - dengan keuntungan yang besar, huruf tersebut dapat diklasifikasikan sebagai huruf yang diinginkan, karena P(H B) = 0,997 > T = 0,95. Mengapa hasilnya berubah? Karena kami menggunakan lebih banyak informasi - kami memperhitungkan jumlah huruf di setiap tumpukan dan, omong-omong, menentukan perkiraan p ai dan p bi dengan lebih tepat. Mereka ditentukan seperti yang dilakukan Bayes sendiri, dengan menghitung probabilitas bersyarat. Dengan kata lain, p a3 adalah peluang munculnya kata “buddy” dalam sebuah surat, asalkan surat tersebut sudah termasuk dalam tumpukan spam H A . Hasilnya tidak lama lagi akan datang - tampaknya kita bisa mengambil keputusan dengan lebih pasti.

Bayes melawan penipuan perusahaan

Penerapan menarik dari pendekatan Bayesian dijelaskan oleh MAGNUS8.

Proyek saya saat ini (IS untuk mendeteksi penipuan di perusahaan manufaktur) menggunakan rumus Bayes untuk menentukan kemungkinan penipuan (fraud) dengan ada/tidaknya beberapa fakta yang secara tidak langsung mendukung hipotesis tentang kemungkinan melakukan penipuan. Algoritmanya adalah belajar mandiri (dengan umpan balik), yaitu. menghitung ulang koefisiennya (probabilitas bersyarat) setelah konfirmasi aktual atau non-konfirmasi penipuan selama verifikasi oleh layanan keamanan ekonomi.

Mungkin patut dikatakan bahwa metode seperti itu ketika merancang algoritma memerlukan budaya matematika yang cukup tinggi dari pengembangnya, karena kesalahan sekecil apa pun dalam penurunan dan/atau penerapan rumus komputasi akan meniadakan dan mendiskreditkan keseluruhan metode. Metode probabilistik sangat rentan terhadap hal ini, karena pemikiran manusia tidak diadaptasi untuk bekerja dengan kategori probabilistik dan, oleh karena itu, tidak ada “visibilitas” dan pemahaman tentang “makna fisik” dari parameter probabilistik perantara dan akhir. Pemahaman ini hanya ada untuk konsep dasar teori probabilitas, dan kemudian Anda hanya perlu menggabungkan dan menyimpulkan hal-hal kompleks dengan sangat hati-hati sesuai dengan hukum teori probabilitas - akal sehat tidak akan lagi membantu untuk objek komposit. Hal ini, khususnya, disebabkan oleh pertarungan metodologis yang cukup serius yang terjadi di halaman-halaman buku modern tentang filosofi probabilitas, serta sejumlah besar sofisme, paradoks, dan teka-teki aneh tentang topik ini.

Nuansa lain yang harus saya hadapi adalah, sayangnya, hampir semua hal yang kurang lebih BERMANFAAT DALAM PRAKTEK tentang topik ini ditulis dalam bahasa Inggris. Dalam sumber-sumber berbahasa Rusia, hanya ada teori terkenal dengan contoh demonstrasi hanya untuk kasus-kasus paling primitif.

Saya sepenuhnya setuju dengan pernyataan terakhir. Misalnya, Google, ketika mencoba menemukan sesuatu seperti “buku Probabilitas Bayesian”, tidak menghasilkan apa pun yang dapat dipahami. Benar, dia melaporkan bahwa buku statistik Bayesian dilarang di Tiongkok. (Profesor statistik Andrew Gelman melaporkan di blog Universitas Columbia bahwa bukunya, Analisis Data dengan Regresi dan Model Multilevel/Hierarki, dilarang diterbitkan di Tiongkok. Penerbit di sana melaporkan bahwa "buku tersebut tidak disetujui oleh pihak berwenang karena berbagai hal yang sensitif secara politik materi dalam teks.") Saya ingin tahu apakah alasan serupa menyebabkan kurangnya buku tentang probabilitas Bayesian di Rusia?

Konservatisme dalam pemrosesan informasi manusia

Probabilitas menentukan tingkat ketidakpastian. Probabilitas, menurut Bayes dan intuisi kita, hanyalah angka antara nol dan yang mewakili sejauh mana orang yang diidealkan mempercayai pernyataan itu benar. Alasan seseorang diidealkan adalah karena jumlah probabilitasnya untuk dua peristiwa yang saling lepas harus sama dengan probabilitas terjadinya salah satu peristiwa. Sifat aditif memiliki konsekuensi sedemikian rupa sehingga hanya sedikit orang yang dapat memenuhi semuanya.

Teorema Bayes adalah konsekuensi sepele dari sifat aditif, tidak dapat disangkal dan disetujui oleh semua ahli probabilistik, Bayesian dan lainnya. Salah satu cara untuk menulisnya adalah sebagai berikut. Jika P(H A |D) adalah probabilitas berikutnya bahwa hipotesis A muncul setelah nilai tertentu D diamati, P(H A) adalah probabilitas sebelumnya sebelum nilai tertentu D diamati, P(D|H A ) adalah probabilitas bahwa a nilai tertentu D akan diamati jika H A benar, dan P(D) adalah probabilitas tanpa syarat dari nilai tertentu D, maka

(1) P(HA |D) = P(D|HA) * P(HA) / P(D)

P(D) paling baik dianggap sebagai konstanta normalisasi, yang menyebabkan probabilitas posterior bertambah menjadi satu kesatuan pada serangkaian hipotesis saling eksklusif yang sedang dipertimbangkan. Kalau perlu dihitung bisa jadi seperti ini:

Namun lebih sering P(D) dihilangkan daripada dihitung. Cara mudah untuk menghilangkan hal ini adalah dengan mengubah teorema Bayes menjadi bentuk rasio probabilitas-peluang.

Pertimbangkan hipotesis lain, H B , yang saling eksklusif dengan H A , dan ubah pikiran Anda berdasarkan besaran yang sama yang mengubah pikiran Anda tentang H A

(2) P(H B |D) = P(D|H B) * P(H B) / P(D)

Sekarang mari kita bagi Persamaan 1 dengan Persamaan 2; hasilnya akan seperti ini:

dimana Ω 1 adalah peluang posterior yang mendukung H A hingga H B , Ω 0 adalah peluang sebelumnya, dan L adalah kuantitas yang dikenal oleh para ahli statistik sebagai rasio probabilitas. Persamaan 3 adalah versi teorema Bayes yang sama relevannya dengan Persamaan 1, dan seringkali jauh lebih berguna terutama untuk eksperimen yang melibatkan hipotesis. Bayesian berpendapat bahwa teorema Bayes adalah aturan optimal formal tentang bagaimana merevisi opini berdasarkan bukti baru.

Kami tertarik untuk membandingkan perilaku ideal yang ditentukan oleh teorema Bayes dengan perilaku manusia yang sebenarnya. Untuk memberi Anda gambaran tentang apa artinya ini, mari kita coba bereksperimen dengan Anda sebagai subjek tes. Tas ini berisi 1000 chip poker. Saya punya dua tas seperti itu, satu berisi 700 keping merah dan 300 keping biru, dan yang lainnya berisi 300 keping merah dan 700 keping biru. Saya melempar koin untuk menentukan mana yang akan digunakan. Jadi, jika pendapat kami sama, peluang Anda saat ini untuk mendapatkan tas yang berisi lebih banyak chip merah adalah 0,5. Sekarang, Anda membuat sampel acak dengan pengembalian setelah setiap chip. Dalam 12 chip Anda mendapatkan 8 merah dan 4 biru. Sekarang, berdasarkan semua yang Anda ketahui, berapa peluang mendapatkan tas dengan warna merah paling banyak? Jelas bahwa ini lebih tinggi dari 0,5. Harap jangan melanjutkan membaca sampai Anda mencatat skor Anda.

Jika Anda seperti peserta tes pada umumnya, skor Anda berada pada kisaran 0,7 hingga 0,8. Namun, jika kita melakukan perhitungan yang sama, jawabannya adalah 0,97. Memang sangat jarang seseorang yang sebelumnya belum pernah diperlihatkan pengaruh konservatisme bisa sampai pada perkiraan setinggi itu, meskipun dia sudah familiar dengan teorema Bayes.

Jika proporsi keripik merah di dalam kantong adalah R, maka kemungkinan menerima R keripik merah dan ( N -R) berwarna biru N sampel dengan pengembalian – pr (1–P)N-R. Jadi, dalam percobaan biasa dengan tas dan chip poker, jika NA berarti proporsi chip merah adalah r A Dan NB– berarti bagiannya adalah RB, maka rasio probabilitas:

Saat menerapkan rumus Bayes, kita hanya perlu mempertimbangkan probabilitas observasi aktual, dan bukan probabilitas observasi lain yang mungkin telah dilakukannya tetapi tidak dilakukannya. Prinsip ini mempunyai implikasi luas untuk semua penerapan teorema Bayes secara statistik dan non-statistik; ini adalah alat teknis terpenting untuk penalaran Bayesian.

Revolusi Bayesian

Teman dan kolega Anda sedang membicarakan sesuatu yang disebut "Teorema Bayes" atau "Aturan Bayes" atau sesuatu yang disebut Penalaran Bayesian. Mereka sangat tertarik dengan hal ini, jadi Anda online dan menemukan halaman tentang teorema Bayes dan... Itu persamaannya. Dan itu saja... Mengapa konsep matematika menciptakan antusiasme seperti itu di pikiran? “Revolusi Bayesian” macam apa yang terjadi di kalangan ilmuwan, dan dikatakan bahwa pendekatan eksperimental itu sendiri dapat digambarkan sebagai kasus khususnya? Apa rahasia yang diketahui Bayesians? Cahaya macam apa yang mereka lihat?

Revolusi Bayesian dalam sains tidak terjadi karena semakin banyak ilmuwan kognitif yang tiba-tiba menyadari bahwa fenomena mental memiliki struktur Bayesian; bukan karena para ilmuwan di segala bidang sudah mulai menggunakan metode Bayesian; tetapi karena sains itu sendiri merupakan kasus khusus dari teorema Bayes; bukti eksperimental adalah bukti Bayesian. Kaum revolusioner Bayesian berpendapat bahwa ketika Anda melakukan eksperimen dan memperoleh bukti yang “mengkonfirmasi” atau “menyangkal” teori Anda, konfirmasi atau sanggahan tersebut terjadi sesuai dengan aturan Bayesian. Misalnya, Anda harus mempertimbangkan tidak hanya bahwa teori Anda dapat menjelaskan suatu fenomena, tetapi juga ada kemungkinan penjelasan lain yang juga dapat memprediksi fenomena tersebut.

Sebelumnya, filsafat ilmu yang paling populer adalah filsafat lama, yang tergeser oleh revolusi Bayesian. Gagasan Karl Popper bahwa teori dapat dipalsukan sepenuhnya tetapi tidak pernah diverifikasi sepenuhnya adalah kasus khusus lain dari aturan Bayesian; jika p(X|A) ≈ 1 – jika teori membuat prediksi yang benar, maka pengamatan ~X memalsukan A dengan sangat kuat. Di sisi lain, jika p(X|A) ≈ 1 dan kita mengamati X, hal ini tidak memberikan konfirmasi yang kuat teori; mungkin beberapa kondisi lain B mungkin terjadi, sehingga p(X|B) ≈ 1, dan di mana pengamatan X tidak memberikan kesaksian yang mendukung A tetapi memberikan kesaksian yang mendukung B. Agar pengamatan X dapat secara pasti mengkonfirmasi A, kita harus untuk tidak mengetahui bahwa p(X|A) ≈ 1 dan bahwa p(X|~A) ≈ 0, yang tidak dapat kita ketahui karena kita tidak dapat mempertimbangkan semua kemungkinan penjelasan alternatif. Misalnya, ketika teori relativitas umum Einstein melampaui teori gravitasi Newton yang didukung dengan baik, hal ini menjadikan semua prediksi teori Newton sebagai kasus khusus dari prediksi Einstein.

Dengan cara yang sama, klaim Popper bahwa sebuah ide harus dapat dipalsukan dapat ditafsirkan sebagai manifestasi dari aturan konservasi probabilitas Bayesian; jika hasil X merupakan bukti positif terhadap teori tersebut, maka hasil ~X pasti menyangkal teori tersebut sampai batas tertentu. Jika Anda mencoba menafsirkan X dan ~X sebagai "mengkonfirmasi" teori tersebut, aturan Bayesian mengatakan itu tidak mungkin! Untuk meningkatkan kemungkinan suatu teori, Anda harus melakukan pengujian yang berpotensi mengurangi kemungkinannya; ini bukan sekadar aturan untuk mengidentifikasi penipu dalam sains, namun merupakan akibat wajar dari teorema probabilitas Bayesian. Di sisi lain, gagasan Popper bahwa yang diperlukan hanyalah pemalsuan dan tidak diperlukan konfirmasi adalah salah. Teorema Bayes menunjukkan bahwa falsifikasi merupakan bukti yang sangat kuat dibandingkan dengan konfirmasi, namun falsifikasi masih bersifat probabilistik; hal ini tidak diatur oleh aturan-aturan yang berbeda secara fundamental dan dalam hal ini tidak ada bedanya dengan konfirmasi, seperti yang diklaim Popper.

Dengan demikian, kita menemukan bahwa banyak fenomena dalam ilmu kognitif, ditambah metode statistik yang digunakan oleh para ilmuwan, ditambah metode ilmiah itu sendiri, semuanya merupakan kasus khusus dari teorema Bayes. Ini adalah revolusi Bayesian.

Selamat datang di Konspirasi Bayesian!

Literatur tentang probabilitas Bayesian

2. Banyak penerapan Bayes yang berbeda dijelaskan oleh peraih Nobel bidang ekonomi Kahneman (dan rekan-rekannya) dalam sebuah buku yang luar biasa. Dalam ringkasan singkat saya untuk buku yang sangat besar ini saja, saya menghitung ada 27 penyebutan nama seorang pendeta Presbiterian. Rumus minimal. (.. Saya sangat menyukainya. Benar, ini agak rumit, ada banyak matematika (dan di mana kita tanpanya), tetapi masing-masing bab (misalnya, Bab 4. Informasi) jelas sesuai topik. Saya merekomendasikannya kepada semua orang. Bahkan jika matematika sulit bagi Anda, bacalah setiap baris lainnya, lewati matematika, dan carilah biji-bijian yang berguna...

14. (tambahan tanggal 15 Januari 2017), satu bab dari buku karya Tony Crilly. 50 ide yang perlu Anda ketahui. Matematika.

Fisikawan peraih Nobel Richard Feynman, ketika berbicara tentang seorang filsuf yang sangat mementingkan diri sendiri, pernah mengatakan, ”Yang membuat saya jengkel bukanlah filsafat sebagai suatu ilmu, melainkan keangkuhan yang tercipta di sekitarnya. Andai saja para filsuf bisa menertawakan diri mereka sendiri! Andai saja mereka bisa berkata: “Saya bilang seperti ini, tapi Von Leipzig menganggapnya berbeda, dan dia juga tahu sesuatu tentang itu.” Andai saja mereka ingat untuk mengklarifikasi bahwa itu hanya milik mereka .

Universitas Telekomunikasi dan Informatika Negeri Siberia

Departemen Matematika Tinggi

dalam disiplin: “Teori Probabilitas dan Statistik Matematika”

“Rumus peluang total dan rumus Bayes (Bayes) serta penerapannya”

Selesai:

Kepala: Profesor B.P

Novosibirsk, 2010

Pendahuluan 3

1. Rumus probabilitas total 4-5

2. Rumus Bayes (Bayes) 5-6

3. Soal dengan solusi 7-11

4. Bidang utama penerapan rumus Bayes (Bayes) 11

Kesimpulan 12

Sastra 13

Perkenalan

Teori probabilitas adalah salah satu cabang matematika klasik. Ini memiliki sejarah panjang. Fondasi cabang ilmu pengetahuan ini diletakkan oleh para ahli matematika hebat. Saya akan menyebutkan misalnya Fermat, Bernoulli, Pascal.
Belakangan, perkembangan teori probabilitas ditentukan dalam karya banyak ilmuwan.
Para ilmuwan dari negara kita memberikan kontribusi besar terhadap teori probabilitas:
P.L.Chebyshev, A.M.Lyapunov, A.A.Markov, A.N.Kolmogorov. Metode probabilistik dan statistik kini telah merambah jauh ke dalam aplikasi. Mereka digunakan dalam fisika, teknologi, ekonomi, biologi dan kedokteran. Peran mereka semakin meningkat sehubungan dengan perkembangan teknologi komputer.

Misalnya untuk mempelajari fenomena fisika dilakukan observasi atau eksperimen. Hasilnya biasanya dicatat dalam bentuk nilai beberapa besaran yang dapat diamati. Saat mengulangi eksperimen, kami menemukan hasil yang tersebar. Misalnya, dengan mengulangi pengukuran besaran yang sama dengan perangkat yang sama dengan tetap menjaga kondisi tertentu (suhu, kelembapan, dll.), kita memperoleh hasil yang setidaknya sedikit berbeda satu sama lain. Bahkan pengukuran berulang tidak memungkinkan untuk memprediksi secara akurat hasil pengukuran berikutnya. Dalam pengertian ini, mereka mengatakan bahwa hasil suatu pengukuran adalah variabel acak. Contoh yang lebih jelas lagi dari variabel acak adalah jumlah tiket pemenang dalam lotere. Banyak contoh variabel acak lainnya yang dapat diberikan. Namun, dalam dunia kebetulan, pola-pola tertentu terungkap. Peralatan matematika untuk mempelajari pola-pola tersebut disediakan oleh teori probabilitas.
Dengan demikian, teori probabilitas berkaitan dengan analisis matematis kejadian acak dan variabel acak terkait.

1. Rumus probabilitas total.

Biarkan ada sekelompok acara H 1 ,H 2 ,..., Hn, memiliki properti berikut:

1) semua acara tidak kompatibel berpasangan: Hai

Hj =Æ; Saya , J =1,2,...,N ; Saya ¹ J ;

2) kesatuannya membentuk ruang hasil dasar W:

.

Gambar.8

Dalam hal ini kami akan mengatakan itu H 1 , H 2 ,...,Hn membentuk kumpulan acara lengkap. Peristiwa seperti itu terkadang disebut hipotesis .

Membiarkan A- beberapa acara: AÌW (Diagram Venn ditunjukkan pada Gambar 8). Kemudian itu berlaku rumus probabilitas total:

P (A) = P (A /H 1)P (H 1) + P (A /H 2)P (H 2) + ...+P (A /Hn)P (Hn) =

Bukti. Jelas sekali: SEBUAH=

, dan semua acara ( Saya = 1,2,...,N) berpasangan tidak konsisten. Dari sini, dengan menggunakan teorema penjumlahan probabilitas, kita peroleh

P (A) = P (

) + P () +...+ P (

Jika kita memperhitungkannya dengan teorema perkalian P (

) = P (AH Saya) P (H Saya) ( Saya = 1,2,...,N), maka dari rumus terakhir mudah untuk mendapatkan rumus probabilitas total di atas.

Contoh. Toko tersebut menjual lampu listrik yang diproduksi oleh tiga pabrik, dengan pangsa pabrik pertama 30%, pabrik kedua 50%, dan pabrik ketiga 20%. Cacat pada produknya masing-masing sebesar 5%, 3% dan 2%. Berapa peluang lampu yang dipilih secara acak di suatu toko ternyata rusak?

Biarkan acaranya H 1 adalah lampu yang dipilih diproduksi di pabrik pertama, H 2 pada yang kedua, H 3 - di pabrik ketiga. Jelas sekali:

P (H 1) = 3/10, P (H 2) = 5/10, P (H 3) = 2/10.

Biarkan acaranya A apakah lampu yang dipilih ternyata rusak; Ah aku berarti kejadian dipilihnya lampu yang rusak dari lampu yang diproduksi di Saya tanaman -th. Dari rumusan masalah berikut ini:

P (A / H 1) = 5/10; P (A / H 2) = 3/10; P (A / H 3) = 2/10

Dengan menggunakan rumus probabilitas total yang kita peroleh

2. Rumus Bayes (Bayes)

Membiarkan H 1 ,H 2 ,...,Hn- kumpulan acara lengkap dan AМ W adalah suatu peristiwa. Kemudian sesuai dengan rumus probabilitas bersyarat

(1)

Di Sini P (Hk /A) – probabilitas bersyarat suatu peristiwa (hipotesis) Hk atau kemungkinan itu Hk dilaksanakan asalkan acara tersebut A telah terjadi.

Menurut teorema perkalian probabilitas, pembilang rumus (1) dapat direpresentasikan sebagai

P = P = P (A /Hk)P (Hk)

Untuk menyatakan penyebut rumus (1), Anda dapat menggunakan rumus probabilitas total

P (A)

Sekarang dari (1) kita dapat memperoleh rumus yang disebut rumus Bayes :

Rumus Bayes menghitung kemungkinan hipotesis direalisasikan Hk asalkan acara tersebut A telah terjadi. Rumus Bayes disebut juga rumus probabilitas hipotesis. Kemungkinan P (Hk) disebut probabilitas hipotesis sebelumnya Hk, dan kemungkinannya P (Hk /A) – probabilitas posterior.

Dalil. Probabilitas suatu hipotesis setelah pengujian sama dengan produk dari probabilitas hipotesis sebelum pengujian dan probabilitas bersyarat yang sesuai dari peristiwa yang terjadi selama pengujian, dibagi dengan probabilitas total peristiwa tersebut.

Contoh. Mari kita simak permasalahan lampu listrik di atas, ubah saja pertanyaan permasalahannya. Misalkan seorang pelanggan membeli lampu listrik di toko ini, dan ternyata lampu itu rusak. Tentukan peluang bahwa lampu ini diproduksi di pabrik kedua. Besarnya P (H 2) = 0,5 dalam hal ini adalah probabilitas apriori kejadian lampu yang dibeli diproduksi di pabrik kedua. Setelah menerima informasi bahwa lampu yang dibeli rusak, kami dapat mengoreksi perkiraan kemungkinan pembuatan lampu ini di pabrik kedua dengan menghitung probabilitas posterior kejadian ini.

Saat menurunkan rumus probabilitas total, diasumsikan bahwa probabilitas hipotesis telah diketahui sebelum eksperimen. Rumus Bayes memungkinkan evaluasi ulang hipotesis awal berdasarkan informasi baru, yaitu suatu peristiwa telah terjadi. Oleh karena itu rumus Bayes disebut rumus penyempurnaan hipotesis.

Teorema (Rumus Bayes). Jika acara tersebut hanya dapat terjadi dengan salah satu hipotesis
, yang membentuk kelompok peristiwa yang lengkap, maka probabilitas hipotesis asalkan peristiwa tersebut terjadi, dihitung dengan rumus

,
.

Bukti.

Rumus Bayes atau pendekatan Bayesian terhadap evaluasi hipotesis memainkan peranan penting dalam ilmu ekonomi karena memungkinkan untuk mengoreksi keputusan manajemen, memperkirakan parameter distribusi yang tidak diketahui dari karakteristik yang dipelajari dalam analisis statistik, dll.

Contoh. Lampu listrik diproduksi di dua pabrik. Pabrik pertama memproduksi 60% dari total jumlah lampu listrik, pabrik kedua – 40%. Produk dari pabrik pertama mengandung 70% lampu standar, yang kedua - 80%. Toko menerima produk dari kedua pabrik. Bola lampu yang dibeli di toko ternyata standar. Tentukan peluang bahwa lampu tersebut diproduksi di pabrik pertama.

Mari kita tuliskan kondisi masalahnya, dengan memberikan notasi yang sesuai.

Diberikan: peristiwa apakah lampunya standar.

Hipotesa
adalah lampu itu diproduksi di pabrik pertama

Hipotesa
adalah lampu tersebut diproduksi di pabrik kedua

Menemukan
.

Larutan.

5. Tes independen berulang. rumus Bernoulli

Mari kita lihat diagramnya tes independen atau Skema Bernoulli, yang memiliki signifikansi ilmiah penting dan beragam aplikasi praktis.

Biarkan itu diproduksi uji coba independen, di mana masing-masing peristiwa mungkin terjadi .

Definisi. Tes dipanggilmandiri , jika di masing-masingnya terdapat peristiwa

, terlepas dari apakah acara tersebut muncul atau tidak
dalam tes lainnya.

Contoh. 20 lampu pijar ditempatkan di meja uji, yang diuji di bawah beban selama 1000 jam. Peluang lampu tersebut lulus pengujian adalah 0,8 dan tidak bergantung pada apa yang terjadi pada lampu lainnya.

Dalam contoh ini, pengujian mengacu pada pengecekan kemampuan lampu menahan beban selama 1000 jam. Oleh karena itu jumlah tesnya sama
. Dalam setiap percobaan, hanya dua hasil yang mungkin terjadi:

Definisi. Serangkaian uji coba independen berulang, yang masing-masing berisi peristiwa
terjadi dengan probabilitas yang sama
, tidak bergantung pada nomor tes, disebutSkema Bernoulli.

Kemungkinan kejadian sebaliknya menunjukkan
, dan, seperti yang telah dibuktikan di atas,

Dalil. Berdasarkan kondisi skema Bernoulli, probabilitas bahwa pada acara pengujian independen akan muncul
kali, ditentukan oleh rumus

Di mana
jumlah tes independen yang dilakukan;

jumlah kemunculan peristiwa tersebut
;

kemungkinan terjadinya suatu peristiwa
dalam sidang tersendiri;

kemungkinan suatu peristiwa tidak terjadi
dalam sidang tersendiri;

rumus Bayes

Teorema Bayes- salah satu teorema utama teori probabilitas dasar, yang menentukan probabilitas suatu peristiwa terjadi dalam kondisi di mana hanya sebagian informasi tentang peristiwa yang diketahui berdasarkan observasi. Dengan menggunakan rumus Bayes, probabilitas dapat dihitung ulang dengan lebih akurat, dengan mempertimbangkan informasi yang diketahui sebelumnya dan data dari pengamatan baru.

"Makna fisik" dan terminologi

Rumus Bayes memungkinkan Anda untuk “mengatur ulang sebab dan akibat”: dengan mempertimbangkan fakta yang diketahui tentang suatu peristiwa, hitung kemungkinan bahwa hal itu disebabkan oleh sebab tertentu.

Peristiwa yang mencerminkan tindakan “penyebab” dalam hal ini biasanya disebut hipotesis, karena memang begitu dugaan peristiwa yang menyebabkan hal ini. Peluang kebenaran hipotesis tanpa syarat disebut secara apriori(seberapa besar kemungkinan alasannya sama sekali), dan bersyarat - dengan mempertimbangkan fakta kejadian - sebuah posteriori(seberapa besar kemungkinan alasannya ternyata memperhitungkan data kejadian).

Konsekuensi

Konsekuensi penting dari rumus Bayes adalah rumus probabilitas total suatu kejadian bergantung pada beberapa hipotesis yang tidak konsisten ( dan hanya dari mereka!).

- kemungkinan terjadinya suatu peristiwa B, tergantung pada sejumlah hipotesis A Saya, jika tingkat keandalan hipotesis ini diketahui (misalnya, diukur secara eksperimental);

Penurunan rumus

Jika suatu peristiwa hanya bergantung pada sebab-sebab A Saya, maka jika itu terjadi berarti salah satu penyebabnya pasti terjadi, yaitu.

Menurut rumus Bayes

Melalui transfer P(B) di sebelah kanan kita mendapatkan ekspresi yang diinginkan.

Metode penyaringan spam

Metode yang didasarkan pada teorema Bayes telah berhasil diterapkan dalam penyaringan spam.

Keterangan

Saat melatih filter, untuk setiap kata yang ditemukan dalam huruf, "bobot" dihitung dan disimpan - kemungkinan bahwa huruf dengan kata ini adalah spam (dalam kasus paling sederhana - menurut definisi klasik probabilitas: "kemunculan dalam spam / penampilan secara total”).

Saat memeriksa surat yang baru tiba, kemungkinan bahwa itu adalah spam dihitung menggunakan rumus di atas untuk berbagai hipotesis. Dalam hal ini, “hipotesis” adalah kata-kata, dan untuk setiap kata, “keandalan hipotesis” adalah % kata dalam huruf tersebut, dan “ketergantungan peristiwa pada hipotesis” P(B | A Saya) - “bobot” kata yang dihitung sebelumnya. Artinya, “bobot” sebuah surat dalam hal ini tidak lebih dari rata-rata “bobot” seluruh kata-katanya.

Sebuah surat diklasifikasikan sebagai “spam” atau “non-spam” berdasarkan apakah “bobotnya” melebihi tingkat tertentu yang ditentukan oleh pengguna (biasanya 60-80%). Setelah keputusan dibuat atas sebuah surat, “bobot” untuk kata-kata yang disertakan di dalamnya diperbarui dalam database.

Ciri

Metode ini sederhana (algoritmanya dasar), nyaman (memungkinkan Anda melakukannya tanpa "daftar hitam" dan teknik buatan serupa), efektif (setelah pelatihan pada sampel yang cukup besar, metode ini menghilangkan hingga 95-97% spam, dan jika ada kesalahan dapat dilatih ulang). Secara umum, ada semua indikasi untuk penggunaannya secara luas, dan itulah yang terjadi dalam praktiknya - hampir semua filter spam modern dibuat berdasarkan filter tersebut.

Namun, metode ini juga memiliki kelemahan mendasar: yaitu berdasarkan asumsi, Apa beberapa kata lebih umum digunakan dalam spam, sementara kata lain lebih umum digunakan dalam email biasa, dan tidak efektif jika asumsi ini salah. Namun, seperti yang ditunjukkan oleh praktik, bahkan seseorang tidak dapat mendeteksi spam tersebut “dengan mata” - hanya dengan membaca surat tersebut dan memahami maknanya.

Kelemahan lain yang tidak mendasar terkait implementasinya adalah metode ini hanya berfungsi dengan teks. Mengetahui keterbatasan ini, pelaku spam mulai memasukkan informasi iklan ke dalam gambar, namun teks dalam surat itu hilang atau tidak ada artinya. Untuk mengatasi hal ini, Anda harus menggunakan alat pengenalan teks (prosedur "mahal", hanya digunakan jika benar-benar diperlukan), atau metode pemfilteran lama - "daftar hitam" dan ekspresi reguler (karena surat seperti itu sering kali memiliki bentuk stereotip).

Lihat juga

Catatan

Tautan

Literatur

• Burung Kiwi. Teorema Pendeta Bayes. // Majalah Computerra, 24 Agustus 2001.
• Paul Graham. Rencana untuk spam (Bahasa Inggris). // Situs pribadi Paul Graham.

Yayasan Wikimedia.

2010.

Lihat apa itu “Formula Bayes” di kamus lain: Rumus yang berbentuk: dimana a1, A2,..., An adalah kejadian tak kompatibel, Skema umum penerapan f.v. g.: jika kejadian B dapat terjadi di tempat yang berbeda kondisi dimana n hipotesis A1, A2, ..., An dibuat dengan probabilitas P(A1), ... diketahui sebelum eksperimen.

Memungkinkan Anda menghitung probabilitas suatu peristiwa yang menarik melalui probabilitas bersyarat dari peristiwa ini berdasarkan asumsi hipotesis tertentu, serta probabilitas hipotesis ini. Rumusan Biarkan ruang probabilitas diberikan, dan kelompok lengkap berpasangan... ... Wikipedia

Memungkinkan Anda menghitung probabilitas suatu peristiwa yang menarik melalui probabilitas bersyarat dari peristiwa ini berdasarkan asumsi hipotesis tertentu, serta probabilitas hipotesis ini. Rumusan Misalkan diberikan ruang probabilitas, dan sekelompok kejadian lengkap seperti... ... Wikipedia

- (atau rumus Bayes) salah satu teorema utama teori probabilitas, yang memungkinkan Anda menentukan probabilitas terjadinya suatu peristiwa (hipotesis) hanya dengan adanya bukti tidak langsung (data), yang mungkin tidak akurat... Wikipedia

Teorema Bayes adalah salah satu teorema utama teori probabilitas dasar, yang menentukan probabilitas suatu peristiwa terjadi dalam kondisi di mana hanya sebagian informasi tentang peristiwa yang diketahui berdasarkan observasi. Dengan menggunakan rumus Bayes Anda dapat... ... Wikipedia

Bayes, Thomas Thomas Bayes Pendeta Thomas Bayes Tanggal lahir: 1702 (1702) Tempat lahir ... Wikipedia

Thomas Bayes Pendeta Thomas Bayes Tanggal lahir: 1702 Tempat lahir: London ... Wikipedia

Inferensi Bayesian adalah salah satu metode inferensi statistik yang menggunakan rumus Bayes untuk menyempurnakan perkiraan probabilistik kebenaran hipotesis ketika bukti diterima. Penggunaan pembaruan Bayesian sangat penting di... ... Wikipedia

Untuk menyempurnakan artikel ini, apa yang diinginkan?: Temukan dan susun dalam bentuk catatan kaki tautan ke sumber resmi yang membenarkan apa yang telah ditulis. Setelah menambahkan catatan kaki, berikan indikasi sumber yang lebih tepat. Ya... Wikipedia

Akankah para narapidana saling mengkhianati, mengikuti kepentingan egois mereka, atau akankah mereka tetap diam, sehingga meminimalkan hukuman secara keseluruhan? Dilema tahanan

Buku

• Teori probabilitas dan statistik matematika dalam soal: Lebih dari 360 soal dan latihan, Borzykh D.. Manual yang diusulkan berisi soal-soal dengan berbagai tingkat kompleksitas. Namun, penekanan utamanya adalah pada tugas-tugas dengan kompleksitas sedang. Hal ini sengaja dilakukan untuk mendorong siswa...

Merumuskan dan membuktikan rumus peluang total. Berikan contoh penerapannya.

Jika kejadian H 1, H 2, ..., H n tidak kompatibel berpasangan dan setidaknya salah satu dari kejadian ini harus terjadi selama setiap pengujian, maka untuk setiap kejadian A persamaan berikut berlaku:

P(A)= P H1 (A)P(H 1)+ P H2 (A)P(H 2)+…+ P Hn (A)P(H n) – rumus probabilitas total. Dalam hal ini H 1, H 2, …, H n disebut hipotesis.

Bukti: Peristiwa A dipecah menjadi pilihan: AH 1, AH 2, ..., AH n. (A datang bersamaan dengan H 1, dst.) Dengan kata lain, kita mempunyai A = AH 1 + AH 2 +…+ AH n. Karena H 1 , H 2 , …, H n adalah inkompatibel berpasangan, maka kejadian AH 1 , AH 2 , …, AH n juga inkompatibel. Dengan menerapkan aturan penjumlahan, kita menemukan: P(A)= P(AH 1)+ P(AH 2)+…+ P(AH n). Mengganti setiap suku P(AH i) di ruas kanan dengan hasil kali P Hi (A)P(H i), kita memperoleh persamaan yang diperlukan.

Contoh:

Katakanlah kita mempunyai dua set bagian. Peluang terambilnya bagian himpunan pertama adalah standar adalah 0,8 dan himpunan kedua adalah 0,9. Mari kita cari peluang bahwa bagian yang diambil secara acak adalah standar.

P(A) = 0,5*0,8 + 0,5*0,9 = 0,85.

Merumuskan dan membuktikan rumus Bayes. Berikan contoh penerapannya.

Rumus Bayes:

Hal ini memungkinkan Anda untuk memperkirakan kembali probabilitas hipotesis setelah hasil pengujian yang mengakibatkan peristiwa A diketahui.

Bukti: Misalkan kejadian A terjadi dengan syarat terjadinya salah satu kejadian yang tidak kompatibel H 1 , H 2 , …, H n , sehingga membentuk grup lengkap. Karena tidak diketahui sebelumnya peristiwa mana yang akan terjadi, maka peristiwa tersebut disebut hipotesis.

Peluang terjadinya kejadian A ditentukan dengan rumus peluang total:

P(A)= P H1 (A)P(H 1)+ P H2 (A)P(H 2)+…+ P Hn (A)P(H n) (1)

Mari kita asumsikan bahwa suatu pengujian telah dilakukan, yang mengakibatkan munculnya peristiwa A. Mari kita tentukan bagaimana probabilitas hipotesis berubah karena peristiwa A telah terjadi. Dengan kata lain, kita akan mencari probabilitas bersyarat

P A (H 1), P A (H 2), ..., P A (H n).

Dengan teorema perkalian kita mempunyai:

P(AH i) = P(A) P A (H i) = P(H i)P Hai (A)

Mari kita ganti P(A) di sini sesuai dengan rumus (1), kita peroleh

Contoh:

Ada tiga kotak yang tampak identik. Kotak pertama berisi n=12 bola putih, kotak kedua berisi m=4 bola putih dan n-m=8 bola hitam, kotak ketiga berisi n=12 bola hitam. Sebuah bola putih diambil dari sebuah kotak yang dipilih secara acak. Tentukan peluang P terambilnya bola dari kotak kedua.

Larutan.

4) Turunkan rumus probabilitasksukses dalam serial iniNtes sesuai dengan skema Bernoulli.

Mari kita periksa kasusnya ketika hal itu diproduksi N percobaan yang identik dan bebas, yang masing-masing hanya mempunyai 2 hasil ( A;). Itu. beberapa pengalaman diulangi N kali, dan dalam setiap percobaan terdapat peristiwa A mungkin muncul dengan probabilitas P(A)=q atau tidak muncul dengan probabilitas P()=q-1=p .

Ruang kejadian dasar setiap rangkaian tes memuat titik-titik atau rangkaian simbol A Dan . Ruang probabilitas seperti ini disebut skema Bernoulli. Tugasnya adalah memastikan hal itu diberikan k temukan kemungkinan itu N- beberapa kali pengulangan peristiwa percobaan A akan datang k sekali.

Untuk lebih jelasnya, mari kita sepakati setiap kemunculan suatu peristiwa A dianggap sukses, tidak maju A - seperti kegagalan. Tujuan kami adalah menemukan kemungkinan itu N eksperimen dengan tepat k akan berhasil; Mari kita nyatakan peristiwa ini untuk sementara dengan B.

Peristiwa DI DALAM disajikan sebagai penjumlahan dari rangkaian kejadian – pilihan kejadian DI DALAM. Untuk mencatat opsi tertentu, Anda perlu menunjukkan jumlah eksperimen yang berakhir dengan sukses. Misalnya, salah satu opsi yang memungkinkan adalah

. Jumlah semua pilihan jelas sama dengan , dan probabilitas setiap pilihan karena independensi percobaan adalah sama dengan . Oleh karena itu kemungkinan terjadinya peristiwa tersebut DI DALAM sama dengan . Untuk menekankan ketergantungan ekspresi yang dihasilkan pada N Dan k, mari kita nyatakan itu . Jadi, .

5) Dengan menggunakan rumus perkiraan integral Laplace, turunkan rumus untuk memperkirakan simpangan frekuensi relatif kejadian A dari peluang p terjadinya A dalam satu percobaan.

Di bawah kondisi skema Bernoulli dengan nilai n dan p tertentu untuk e>0 tertentu, kami memperkirakan probabilitas kejadian , di mana k adalah jumlah keberhasilan dalam n percobaan. Pertidaksamaan ini setara dengan |k-np|£en, yaitu. -en £ k-np £ en atau np-en £ k £ np+en. Jadi, kita berbicara tentang memperoleh perkiraan peluang kejadian k 1 £ k £ k 2 , di mana k 1 = np-en, k 2 = np+en. Dengan menerapkan rumus perkiraan integral Laplace, kita memperoleh: P( » Dengan mempertimbangkan keanehan fungsi Laplace, kita memperoleh persamaan perkiraan P( » 2Ф.

Catatan : Karena dengan syarat n=1, maka kita substitusikan satu sebagai ganti n dan dapatkan jawaban akhir.

6) Biarkan X– variabel acak diskrit yang hanya mengambil nilai non-negatif dan memiliki ekspektasi matematis M. Buktikan itu P(X≥ 4) ≤ M/ 4 .

m= (karena suku pertama positif, maka jika dihilangkan maka akan lebih kecil) ³ (ganti A dengan 4, hanya akan berkurang) ³ = =4× P(X³4). Dari sini P(X≥ 4) ≤ M/ 4 .

(Alih-alih 4, bisa ada angka berapa saja).

7) Buktikan jika X Dan Y adalah variabel acak diskrit independen yang mengambil sekumpulan nilai berhingga M(XY)=M(X)M(Y)

x 1	x 2	…
hal 1	hal2	…

nomor yang dipanggil M(XY)= x 1 hal 1 + x 2 hal 2 + …

Jika variabel acak X Dan Y independen, maka ekspektasi matematis produknya sama dengan produk ekspektasi matematisnya (teorema perkalian ekspektasi matematis).

Bukti: Nilai yang mungkin X mari kita tunjukkan x 1 , x 2, …, nilai yang mungkin Y - kamu 1 , kamu 2, … A p ij =P(X=x saya , Y=y j). XY M(XY)= Karena independensi kuantitas X Dan Y kami memiliki: P(X= x saya , Y=y j)= P(X=x saya) P(Y=y j). Setelah ditunjuk P(X=x i)=r i , P(Y=y j)=s j, kami menulis ulang persamaan ini dalam bentuk p ij =r i s j

Dengan demikian, M(XY)= = . Mengubah persamaan yang dihasilkan, kita memperoleh: M(XY)=()() = M(X)M(Y), Q.E.D.

8) Buktikan jika X Dan Y adalah variabel acak diskrit yang mengambil sekumpulan nilai berhingga M(X+Y) = M(X) +M(Y).

Ekspektasi matematis dari variabel acak diskrit dengan hukum distribusi

x 1	x 2	…
hal 1	hal2	…

nomor yang dipanggil M(XY)= x 1 hal 1 + x 2 hal 2 + …

Ekspektasi matematis dari jumlah dua variabel acak sama dengan jumlah ekspektasi matematis suku: M(X+Y)= M(X)+M(Y).

Bukti: Nilai yang mungkin X mari kita tunjukkan x 1 , x 2, …, nilai yang mungkin Y - kamu 1 , kamu 2, … A p ij =P(X=x saya , Y=y j). Hukum distribusi besaran X+Y akan diungkapkan dalam tabel yang sesuai. M(X+Y)= .Rumus ini dapat ditulis ulang sebagai berikut: M(X+Y)= .Jumlah pertama ruas kanan dapat direpresentasikan sebagai . Ekspresinya adalah peluang terjadinya salah satu kejadian (X=x i, Y=y 1), (X=x i, Y=y 2), ... Oleh karena itu, ekspresi ini sama dengan P(X=x i) . Dari sini . Juga, . Hasilnya, kita mendapatkan: M(X+Y)= M(X)+M(Y), yang perlu dibuktikan.

9) Biarkan X– variabel acak diskrit yang terdistribusi menurut hukum distribusi binomial dengan parameter N Dan R. Buktikan itu M(X)=np, D(X)=nр(1-р).

Biarkan itu diproduksi N uji coba independen, yang masing-masing peristiwa A dapat terjadi dengan probabilitas R, jadi kemungkinan kejadian sebaliknya Ā sama dengan q=1-hal. Mari kita pertimbangkan hal berikut ini. ukuran X– jumlah terjadinya peristiwa A V N eksperimen. Bayangkan X sebagai jumlah indikator kejadian A untuk setiap percobaan: X=X 1 +X 2 +…+Xn. Sekarang mari kita buktikan itu M(X saya)=p, D(X saya)=np. Untuk melakukan ini, perhatikan hukum distribusi sl. kuantitas, yang terlihat seperti:

X
R	R	Q

Jelas sekali M(X)=hal, oleh karena itu, variabel acak X 2 mempunyai hukum distribusi yang sama D(X)=M(X 2)-M 2 (X)=р-р 2 =р(1-р)=рq. Dengan demikian, M(X saya)=hal, D(Х saya)=pq. Menurut teorema penjumlahan ekspektasi matematis M(X)=M(X 1)+..+M(X n)=nр. Karena variabel acak X saya independen, maka variansnya juga bertambah: D(X)=D(X 1)+…+D(X n)=npq=np(1-p).

10) Biarkan X– variabel acak diskrit yang terdistribusi menurut hukum Poisson dengan parameter λ. Buktikan itu M(X) = λ .

Hukum Poisson diberikan dalam tabel:

Dari sini kita memiliki:

Jadi, parameter λ yang menjadi ciri distribusi Poisson ini tidak lebih dari ekspektasi matematis dari nilai X.

11) Misalkan X adalah variabel acak diskrit yang terdistribusi menurut hukum geometri dengan parameter p. Buktikan bahwa M (X) = .

Hukum distribusi geometri dikaitkan dengan barisan percobaan Bernoulli sampai kejadian sukses pertama A. Peluang terjadinya kejadian A dalam satu percobaan adalah p, kejadian sebaliknya q = 1-p. Hukum distribusi variabel acak X - jumlah tes - berbentuk:

X			…	N	…
R	R	hal	…	hal n-1	…

Deret yang ditulis dalam tanda kurung diperoleh dengan membedakan suku demi suku dari barisan geometri tersebut

Karena itu, .

12) Buktikan bahwa koefisien korelasi variabel acak X dan Y memenuhi syarat.

Definisi: Koefisien korelasi dua variabel acak adalah rasio kovariansnya terhadap produk simpangan baku variabel-variabel ini: . .

Bukti: Mari kita perhatikan variabel acak Z = . Mari kita hitung variansnya. Karena ruas kiri bukan negatif, maka ruas kanan bukan negatif. Oleh karena itu, |ρ|≤1.

13) Bagaimana cara menghitung varians dalam kasus distribusi kontinu dengan kepadatan F(X)? Buktikan bahwa untuk variabel acak X dengan kepadatan penyebaran D(X) tidak ada, dan ekspektasi matematisnya M(X) ada.

Varians suatu variabel acak kontinu mutlak X dengan fungsi kepadatan f(x) dan ekspektasi matematis m = M(X) ditentukan oleh persamaan yang sama seperti variabel diskrit

.

Dalam kasus ketika variabel acak kontinu mutlak X terkonsentrasi pada interval,

∞ - integralnya divergen, oleh karena itu, dispersi tidak ada.

14) Buktikan bahwa untuk variabel acak normal X dengan fungsi kepadatan distribusi ekspektasi matematis M(X) = μ.

Mari kita buktikan bahwa μ adalah ekspektasi matematis.

Dengan menentukan ekspektasi matematis dari r.v. kontinu,

Mari kita perkenalkan variabel baru . Dari sini. Mengingat batas integrasi baru sama dengan batas integrasi lama, kita peroleh

Suku pertama sama dengan nol karena keanehan fungsi integran. Suku kedua sama dengan μ (Poisson integral ).

Jadi, M(X)=μ, yaitu. ekspektasi matematis dari distribusi normal sama dengan parameternya μ.

15) Buktikan bahwa untuk variabel acak normal X dengan fungsi kepadatan distribusi dispresia D(X) = σ 2 .

Rumus tersebut menjelaskan kepadatan distribusi probabilitas normal dari variabel acak kontinu.

Mari kita buktikan bahwa itu adalah simpangan baku dari distribusi normal. Mari kita perkenalkan variabel baru z=(x-μ)/ . Dari sini . Mengingat batas integrasi yang baru sama dengan batas integrasi yang lama, kita peroleh Integrasi per bagian, put kamu=z, kita temukan Oleh karena itu, .Jadi, simpangan baku dari distribusi normal sama dengan parameternya.

16) Buktikan bahwa untuk variabel acak kontinu yang terdistribusi menurut hukum eksponensial dengan parameter , ekspektasi matematisnya adalah .

Suatu variabel acak X, yang hanya mengambil nilai non-negatif, dikatakan terdistribusi menurut hukum eksponensial jika untuk beberapa parameter positif λ>0 fungsi kepadatannya berbentuk:

Untuk mencari ekspektasi matematis, kita menggunakan rumus