Nội dung

TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 12, SỐ 07 - 2009 SỬ DỤNG HÀM CỰC ĐẠI TRONG BÀI TOÁN NHẬN DẠNG Võ Văn Tài(1), Tô Anh Dũng(2) (1) Trường Đại học Cần Thơ (2) Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM (Bài nhận ngày 07 tháng 04 năm 2009, hoàn chỉnh sửa chữa ngày 17 tháng 06 năm 2009) TÓM TẮT: Dựa vào hàm cực đại của các hàm mật độ chúng tôi đã đưa ra một phương pháp mới rất thuận lợi cho bài toán nhận dạng trong các trường hợp khác nhau. Việc tìm hàm cực đại và tính sai số Bayes cũng được khảo sát. Hai chương trình được viết để tính toán cụ thể. Từ khóa: Hàm cực đại, hàm mật độ xác suất, nhận dạng, sai số Bayes. 1. GIỚI THIỆU Nhận dạng một phần tử mới thuộc tổng thể nào trong số k tổng thể đã cho là một hướng thống kê có rất nhiều ứng dụng trong thực tế, với nhiều lĩnh vực khác nhau: Nông nghiệp, y học, kinh tế, ... Đặc biệt với sự bùng nổ thông tin hiện nay thì những ứng dụng này ngày càng trở nên đa dạng và cần thiết hơn. Chính vì vậy, ngày càng có nhiều bài toán học nghiên cứu đến vấn đề này. Bài toán nhận dạng được đặt ra như sau: Từ một tập hợp gồm n phần tử mà ta biết rõ các phần tử đến từ tổng thể nào trong số k tổng thể, dựa trên n biến quan sát từ mỗi phần tử đưa ra một qui luật để khi có phần tử mới thì biết cách xếp vào tổng thể nào là thích hợp nhất. Bài toán nhận dạng hiện đang được nhiều nhà toán học quan tâm, tuy nhiên trong việc giải quyết nó, theo sự hiểu biết của chúng tôi nhiều khía cạnh liên quan của bài toán này vẫn chưa có lời giải một cách trọn vẹn. Hiện tại có nhiều phương pháp giải quyết bài toán này trong đó phương pháp Bayes được xem có nhiều ưu điểm nhất vì nó giải quyết được bài toán cho tập dữ liệu bất kỳ và tính được xác suất sai lầm trong nhận dạng. Tuy nhiên trong thực tế tính toán theo phương pháp này còn rất nhiều khó khăn bởi việc xác định hàm mật độ xác suất, việc tính tích phân, việc xác định sai lầm...Trong bài viết này, dựa trên phương pháp Bayes chúng tôi đưa ra một phương pháp, được gọi là phương pháp hàm cực đại rất thuận lợi cho việc lập trình tính toán. 2. PHƯƠNG PHÁP HÀM CỰC ĐẠI TRONG BÀI TOÁN NHẬN DẠNG 2.1. Phương pháp Bayes Xét hai tổng thể w1 và w2 với biến quan sát x có hàm mật độ xác suất f1 ( x) , f 2 ( x) tương ứng với hai tổng thể đó và xác suất tiên nghiệm q1 và q 2  1  q1 , khi đó một phần tử mới với biến quan sát x0 được nhận dạng như sau: Nếu f1 ( x 0 ) q 2  thì xếp x0 vào w1, ngược lại xếp vào w2. f 2 ( x0 ) q1 Khi ta không quan tâm đến xác suất tiên nghiệm hoặc q1 = q2 = (1) 1 thì (1) trở thành: 2 Nếu f1 ( x)  f 2 ( x) ) thì xếp x0 vào w1 ngược lại xếp vào w2 . Bản quyền thuộc ĐHQG-HCM Trang 15 Science & Technology Development, Vol 12, No.07 - 2009 Trong trường hợp không quan tâm đến xác suất tiên nghiệm thì xác suất sai lầm khi phân loại phần tử vào tổng thể thứ nhất và thứ hai lần lượt là   P( w1 | w2 )   f 2 x dx ,   P( w2 | w1 )  R1n  f1 x dx R2n Trong đó R1n  x | f1 ( x)  f 2 ( x), R2n  x | f1 ( x)  f 2 ( x). Xác suất sai lầm trong phân loại này được xác định bởi công thức: Pe1, 2  min f1 ( x), f 2 ( x)     (2) Khi quan tâm đến xác suất tiên nghiệm q của w1 thì  trở thành * và  trở thành * với: * =  qf1 x dx và  * R1*n =  (1  q) f 2 x dx R2*n Trong đó R1*n  x | qf1 ( x)  (1  q ) f 2 ( x) , R2*n  x | qf1 ( x)  (1  q ) f 2 ( x) . Đặt ( q )  ( q, 1  q ) , sai số Bayes lúc này là: Pe1(,q2)   minqf1 x , 1  q  f 2 x    R * * (3) n Xét k tổng thể wi với xác suất tiên nghiệm qi. Đặt ( q )  ( q1 , q 2 ,..., q k ) , khi đó phần tử với biến quan sát x0 được xếp vào wi nếu: qi f i ( x 0 )  q j f j ( x 0 )  f i  x0  q j  , j  i f j  x 0  qi (4) Xác suất sai lầm trong nhận dạng này là k k Pe1(,q2),...,k   i 1 R n  qi f i dx  1    qi f i dx \ Rin i 1 (5) Rin Trong đó Rin là miền mà phần tử mới được xếp vào tổng thể thứ i, R n  k  Rin . i 1 Xác suất sai lầm được tính bởi (2), (3) và (5) đã được chứng minh là xác suất sai lầm nhỏ nhất trong nhận dạng và được gọi là sai số Bayes. 2.2. Phương pháp hàm cực đại Dựa trên phương pháp Bayes, chúng tôi đề nghị một nguyên tắc nhận dạng phần tử mới k x0 cho k tổng thể với hàm mật độ xác suất f i (x) và xác suất tiên nghiệm qi , q i 1 i 1 như sau: Nếu g max ( x0 )  q j f j ( x0 ) thì phân loại x0 vào w j . (6) Trong đó g max ( x)  maxg1 ( x), g 2 ( x),..., g k ( x) . Phương pháp nhận dạng trên được gọi là phương pháp hàm cực đại. Phương pháp này vừa đơn giản vừa tổng quát, đặc biệt hiệu quả hơn trong tính toán so với những nguyên tắc đã có. Với nguyên tắc này việc nhận dạng phần tử mới chỉ là vấn đề tìm hàm cực đại của các hàm số Trang 16 Bản quyền thuộc ĐHQG-HCM TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 12, SỐ 07 - 2009 q j f j (x) , tương đương với những nguyên tắc Bayes bởi vì việc xác định những miền khác nhau cho mục đích nhận dạng của phương pháp Bayes cũng giống như việc xác định những miền khác nhau của định nghĩa g max ( x) . Thật vậy, với trường hợp hai tổng thể, những miền khác nhau của R n nơi g max ( x) nhận giá trị qf1 ( x ) hoặc (1  q ) f 2 ( x) chính là việc giải bất phương trình qf1 ( x)  1 , hoàn toàn giống như phương pháp Bayes. Trong trường hợp (1  q ) f 2 ( x) hai tổng thể có phân phối chuẩn, biên nhận dạng cho phương pháp hàm cực đại và phương pháp Bayes đều là tuyến tính hoặc bậc hai. Tương tự cho trường hợp hai tổng thể, khi có nhiều hơn hai tổng thể việc xác định những miền nơi hàm cực đại của các hàm mật độ xác suất g max ( x) nhận giá trị là tương đương miền mà qi f i ( x )  1 j  i . Phương pháp Bayes xếp q j f j ( x) phần tử mới vào tổng thể w j cũng dựa vào bất đẳng thức này. Khi ta không quan tâm đến xác suất tiên nghiệm hoặc xác suất tiên nghiệm bằng nhau cho các tổng thể thì nguyên tắc nhận dạng phần tử mới x0 của (1) trở thành: Nếu f max ( x0 )  f j ( x0 ) thì phân loại x0 vào w j . (7) Tương tự, khi quan tâm đến xác suất tiên nghiệm, trường hợp này phương pháp hàm cực đại cũng tương đương với phương pháp Bayes. 2.3. Sai số Bayes trong phương pháp hàm cực đại Giả sử hai tổng thể với hàm mật độ xác suất f i (x ), i = 1, 2. Khi không quan tâm đến xác suất tiên nghiệm thì sai số Bayes cho bài toán phân loại và nhận dạng được xác định bởi công thức: Pe1, 2  min f1 ( x), f 2 ( x)  2   f max ( x)dx R (8) n  Xét hai tổng thể có phân phối chuẩn một chiều N (  i ,  i2 ) , i = 1, 2. Giả sử 1   2 . Nếu  1   2 thì Pe1, 2  2  x1   f1 ( x)dx    x1  1   x  2      1   1    2   f 2 ( x)dx 1    x1   2 1 t 2 / 2 Trong đó x1  1 và  ( x)  e dt .  2 2 0 x (9) Nếu  1   2 thì Pe1, 2  2  x2  x3  x3 x2  f 2 ( x)dx   f 2 ( x)dx   f1 ( x)dx  x  2  1    2  2   x  2     3   2 Bản quyền thuộc ĐHQG-HCM   x  1   x  1      3     2    1   1  Trang 17 Science & Technology Development, Vol 12, No.07 - 2009 Trong đó x 2  ( 1 22   2 12 )   1 2 ( 1   2 ) 2  K  22   12 , (10) (   2   2 12 )   1 2 ( 1   2 ) 2  K   K  2( 22   12 ) ln 2   0 , x3  1 2  22   12  1  Đặc biệt khi 1   2   . Nếu  1   2 thì Pe1, 2  1 . Nếu  1   2 thì Pe1, 2  2  x4    x5 x5 x4 (11) f 2 ( x)dx   f 2 ( x)dx   f1 ( x)dx  x     x5     x     x4            5       1    4  2   2   1   1  Trong đó x4     1 2 E , x5     1 2 E với E  2 2  2   12    1    0 (12) ln    2   Xét hai tổng thể của biến X có phân phối chuẩn n chiều: N 1 , 1  và N  2 , 2  . Giả sử 1   2   . Đặt: U  X T  1 1   2   1 1   2 T  1 1   2  2 Theo Anderson (1984) nếu X có phân phối chuẩn N 1 ,   thì U cũng có phân phối 1 2   1 1   2 T  1 1   2  . Tương tự nếu X có phân phối chuẩn 2  1  N  2 ,   thì U cũng có phân phối chuẩn N    2 , 2  . Khi đó nếu không quan tâm đến  2  chuẩn N   2 , 2  với   xác suất tiên nghiệm thì sai số Bayes được xác định Pe1, 2     với  1  2   0   2  1 exp  x  12  2 dx   2    1  exp  x 2 dx 2  / 2  2  1  là xác suất sai lầm khi phân loại vào tổng thể thứ nhất, còn  1  2 0    1 2 2  exp  2 x  12  dx   1 2  / 2    1  exp  x 2 dx  2  là xác suất sai lầm khi phân loại vào tổng thể thứ hai. Khi 1   2 việc tìm một biểu thức giải tích cho không có ý nghĩa cho việc tính toán cụ thể.  và  là rất phức tạp và gần như Xét k tổng thể với hàm mật độ xác suất f i (x ) và xác suất tiên nghiệm qi , Trang 18 Bản quyền thuộc ĐHQG-HCM TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 12, SỐ 07 - 2009 i = 1, 2,…, k. Đặt (q )  (q1 , q 2 ,..., q k ) , khi đó sai số Bayes cho bài toán phân loại và nhận dạng được xác định:  Pe1(,q2)...,k   i j   k   min qi f i , q j f j dx    min qi f i , q j f j dx j 1 j i Rin  R nj R nj       q j f j   max q j f j   j 1  R n R nj    k  k   k    q j f j dx    max q j f j dx  1  R n i 1 j 1 R n j  g max dx Rn Như vậy sai số Bayes được tính thông qua hàm cực đại g max ( x ) bởi công thức đơn giản sau: Pe1(,q2),...,k  1   g max ( x)dx R (13) n Sai số Bayes với xác suất tiên nghiệm qi  k) Pe1(,12/,..., k  1 1 là k 1 f max ( x)dx k Rn (14) Việc sử dụng (13) hoặc (14) để tính sai số Bayes cho một thuận lợi rất lớn, đặc biệt trong việc sử dụng các phần mềm toán học để lập trình. 2.4. Hàm cực đại của các hàm mật độ xác suất Khi biết được hàm mật độ xác suất của các tổng thể thì phương pháp hàm cực đại được xem là sự giải quyết trọn vẹn bài nhận dạng nếu chúng ta xác định được hàm cực đại của các hàm mật độ xác suất. Vì vậy trong phần này chúng ta tập trung tìm hàm cực đại của các hàm mật độ xác suất, đặc biệt các hàm mật độ xác suất thông dụng. 2.4.1. Trường hợp hai hàm mật độ xác suất Xét hai tổng thể w1 và w2 có hàm mật độ xác suất một chiều hoặc nhiều chiều f1 ( x) và f 2 ( x) với xác suất tiên nghiệm tương ứng q và 1– q. Biên cho sự nhận dạng là d ( q ) ( x)  qf1 ( x)  (1  q) f 2 ( x) , lúc này hàm cực đại được xác định: (q) g max ( x) qf ( x)  1 (1  q) f 2 ( x) khi d ( q ) ( x)  0 khi d ( q ) ( x)  0 Khi không quan tâm đến xác suất tiên nghiệm thì biên phân loại trở thành d ( x)  f1 ( x)  f 2 ( x) . Khi đó hàm cực đại được xác định:  f ( x) f max ( x)   1  f 2 ( x) khi d ( x)  0 khi d ( x)  0 Bản quyền thuộc ĐHQG-HCM Trang 19 Science & Technology Development, Vol 12, No.07 - 2009 Trong trường hợp một chiều thì biên cho những miền của hàm cực đại là các điểm. Các điểm này cũng chính là ranh giới cho sự phân loại và nhận dạng. Với đa số các hàm mật độ xác suất một chiều thường chỉ có một đỉnh, nên tối đa có 2 giao điểm của hai hàm mật độ xác suất. Giả sử qf1 ( x ) và (1  q ) f 2 ( x ) giao nhau tại một điểm với tọa độ a* và (q) g max ( x) qf1 ( x) khi x  a *  (1  q ) f 2 ( x) khi x  a * * Tùy theo giá trị của q mà a có thể được xác định, nhưng tổng quát thật không dễ để tìm * mối quan hệ giữa a và a - giao điểm của f1(x) và f2(x). Trong việc tìm hàm cực đại của các hàm mật độ xác suất một chiều, ngoài phân phối chuẩn, chúng tôi cũng đã đưa ra những kết quả cụ thể cho các trường hợp hàm mật độ xác suất thông dụng một chiều khác như phân phối Gamma, phân phối mũ và phân phối Beta. Cụ thể: i) f1 ( x ) và f 2 ( x) là hàm mật độ xác suất chuẩn một chiều: f i ( x)  1 i  1 2   exp  x    , i =1, 2 i 2 2  2 i  Trong trường hợp hai trung bình khác nhau, giả sử 1   2 :  f1 ( x) khi x  x1  f 2 ( x) khi x  x1 Nếu  1   2   thì f max ( x)    f1 ( x) khi x2  x  x3  f 2 ( x) khi x  x2  x  x3 Nếu  1   2 thì f max ( x)   Khi 1   2 , ta có: Nếu  1   2 thì f max ( x )  f 1 ( x )  f 2 ( x )  f1 ( x) khi x4  x  x5  f 2 ( x) khi x  x4  x  x5 Nếu  1   2 thì f max ( x)   Trong đó x1, x2, x3, x4 và x5 được xác định bởi (9), (10), (11) và (12). ii) f1 ( x ) và f 2 ( x) là hàm mật độ xác suất chuẩn n chiều ( n  2)     1 1 1 1 1 d ( x)   x T 1    2  x  1T 1    2T  2  x  k 2 Đặt với k  (15)  1   1  1 1 T T             ln 1 1 1 2 2 2 2    2   d (x) là biên phân loại của w1 và w2. Ta có d(x) là đường bậc 2. Đặt 1 1 1 A   1    2  thì ta có các trường hợp cụ thể của đường bậc hai: 2   Nếu det(A) < 0 thì d(x) là hyperbol, Nếu det(A) = 0 thì d(x) là parabol, Trang 20 Bản quyền thuộc ĐHQG-HCM TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 12, SỐ 07 - 2009 Nếu det(A) > 0 thì d(x) là elip, ở đây  f ( x) khi d ( x)  0 f max ( x)   1  f 2 ( x) khi d ( x)  0 Trong trường hợp 1   2   thì d (x ) sẽ trở thành hàm tuyến tính: d ( x)  1   2    x  T 1 1 1   2 T  1 1   2  2 (16) Khi ta quan tâm đến xác suất tiên nghiệm q và 1- q của w1 và w2 thì hàm nhận dạng d (x) của (15) và (16) lần lượt trở thành:     1 q  1  d ( q ) ( x)   x T 1 1   2 1 x  1T 1 1   2T  2 1 x  k  ln 2  q  d ( q ) ( x)  1   2  1 x  1 1   2 T 1 1   2   ln 1  q  2  q  iii) Hai hàm mật độ xác suất có phân phối mũ trên 0,    : f i ( x)  bi e bi x , i  1, 2 Giả sử b1  b2 , ta có:  b  1 ln 2   f1 ( x) khi x  b 2 b1  b1   f max ( x)    f ( x) khi x  1 ln b2   2 b 2 b1  b1   iv) Khi hai hàm mật độ xác suất có phân phối Beta trên (0; 1): f i ( x)  1 x  i 1 (1  x) i , i  1, 2 B ( i ,  i ) Hàm cực đại được xác định cụ thể:  f1 ( x) khi x k  x k 1  m f max ( x)    f 2 ( x) khi x k  x k 1  m B ( 1 , 1 )   Trong đó k  , m  A  0 ,   1   2 ,   1   2 , A   B ( 2 ,  2 ) Trong trường hợp đặc biệt 1  1 ,  2   2 lúc này hàm cực đại trở thành:  f1 ( x) khi x  x6 , x  x7 f max ( x)    f 2 ( x) khi x6  x  x 7 trong đó, x6  1  1  4m 1  1  4m và x7  . 2 2 Bản quyền thuộc ĐHQG-HCM Trang 21 Science & Technology Development, Vol 12, No.07 - 2009 2.4.2. Trường hợp nhiều hơn hai hàm mật độ xác suất Xét k tổng thể wi =1, 2,…,k, với hàm mật độ xác suất f i (x) và xác suất tiên nghiệm k tương ứng qi ,  qi  1 . i 1 Đặt (q )  (q1 , q 2 ,..., q k ) , g i ( x)  qi f i ( x) . Biên cho sự phân loại của wi và wj là d ij( q ) ( x)  qi f i ( x)  q j f j ( x) . Trong đó d ij( q ) ( x)  0 là miền của wi và ngược lại là miền của wj. Vì vậy ta có: q1 f1 ( x) khi d1(pq ) ( x)  0  (q) (q) g max ( x)  ql f l ( x) khi d lm ( x)  0  d nl( q ) ( x)  0  (q) q k f k ( x) khi d qk ( x)  0 Trong đó p  2,..., k ; q  1,..., k  1 , l  2,..., k  1 , m  l  1,..., n , n  1,..., l  1 . (q) Khi f i (x ) là hàm mật độ xác suất chuẩn n chiều, thì d ij ( x ) có dạng cụ thể:   1 x  iT  i 1   Tj  j 1 x  k  ln qq j  1 d ij( q ) ( x)   x T  i 1   j 2  1    i  với k  ln   iT  i 1  i   Tj  j   2 j      1 i  (17)  j.   (q) Ở đây, d ij ( x ) cũng là đường bậc hai. Đường bậc hai này là hyperbol, parablol hay elip phụ     1 1 1 det  i    j lớn hơn 0, bằng 0 hay nhỏ hơn 0. 2 Trong trường hợp các i =  với mọi i = 1, 2, …, k thì (17) trở thành: thuộc vào    d ij( q ) ( x)   i   j  1 x   1 i   j 2 T 1 i   j   ln qq j   i  (18) d ij( q ) ( x) lúc này là hàm tuyến tính. Khi không quan tâm đến xác suất tiên nghiệm thì hàm nhận dạng d ij( q ) ( x) của (17) và (18) trở thành:       1 x  k 1 1 1 1 d ij ( x)   x T  i    j x   iT  i    Tj  j 2 1 1 T 1 d ij ( x)   i   j   x   i   j    i   j 2       (q) Trong trường hợp k > 2, việc xác định biểu thức giải tích cụ thể fmax(x) cũng như g max ( x) cho các hàm mật độ xác suất rất phức tạp. Ngay cả khi xem xét cho các hàm mật độ xác suất Trang 22 Bản quyền thuộc ĐHQG-HCM TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 12, SỐ 07 - 2009 chuẩn một chiều vấn đề này cũng không phải là đơn giản. Tuy nhiên, sử dụng các phần mềm toán học như Maple, Mattlab,…bước đầu chúng tôi đã giải quyết được khó khăn này. 3. SỬ DỤNG PHẦN MỀM TOÁN HỌC TRONG BÀI TOÁN NHẬN DẠNG 3.1. Chương trình nhận dạng phần tử mới Sử dụng nguyên tắc (6) và (7), có thể đưa ra một thuật toán để viết một chương trình nhận dạng phần tử mới. Sau đây chúng tôi minh họa một chương trình được viết bằng phần mềm Maple nhận dạng phần tử mới khi các tổng thể có hàm mật độ xác suất cùng phân phối hai chiều. Chương trình 1: Nhandang:=proc(L::list(algebraic)) local n,u,v,i,d,j,t,l,B,H;n:=nops(L); H:={seq(unapply(L[p],x,y),p=1..n-2)}; u:=L[n-1];v:=L[n]; for i from 1 to n-2 do d[i]:=evalf(H[i](u,v)); od; B:=d[1];t:=H[1](x); l:=f[1];[l=t]; for j from 2 to n-1 do if B evalf(H[1](f)) then p[x]:=piecewise(xE[m],kq[m+1](x),p[m]),x); K:=unapply(piecewise(x>E[m],kq[m+1](x),p[m]),x); evalf[5](1-int(K(x),x=-infinity..+infinity)); end proc: Ở đây, fi; i) Để tìm sai số Bayes khi phân loại k tổng thể có hàm mật độ xác suất f i (x ) , xác suất tiên nghiệm qi, g i ( x )  qi f i ( x ) ta sử dụng lệnh: saiso([g1(x), g2(x), …, gk(x)]); Nhập các hàm số g i (x ) dưới dạng biểu thức trực tiếp trong saiso ([ ]) hoặc lệnh gán g i (x) bên ngoài. ii) Nếu bỏ dòng cuối của chương trình trước end proc thì kết quả xuất ra là một hàm số. Hàm này chính là hàm cực đại của các hàm đã cho. Chúng ta có thể đưa chúng vào trong thư viện chương trình của Maple để sử dụng vào các mục đích khác như vẽ đồ thị, tính tích phân… Trang 24 Bản quyền thuộc ĐHQG-HCM