Nội dung

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nông Thị Hoa CẢI TIẾN QUÁ TRÌNH HỌC CỦA MỘT SỐ MẠNG NƠ-RON GHI NHỚ Chuyên ngành: Khoa học máy tính Mã số: 62.48.01.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC PGS.TS. Bùi Thế Duy Hà Nội – 2015 1 Lời cam đoan Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả đƣợc viết chung với các tác giả khác đều đƣợc sự đồng ý của các đồng tác giả trƣớc khi đƣa vào luận án. Các kết quả nêu trong luận án là trung thực và chƣa từng đƣợc ai công bố trong các công trình nào khác. Tác giả 2 Lời cảm ơn Luận án đƣợc thực hiện tại Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội, dƣới sự hƣớng dẫn của PGS.TS. Bùi Thế Duy. Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS. Bùi Thế Duy và GS.TS. Đặng Quang Á, các thầy đã có những định hƣớng giúp tôi thành công trong việc nghiên cứu của mình. Các thầy cũng đã động viên và chỉ bảo giúp tôi vƣợt qua những khó khăn để tôi hoàn thành đƣợc luận án này. Tôi cũng chân thành cảm ơn TS.Võ Đình Bảy, TS. Đặng Trung Kiên, Ths. Nguyễn Quốc Đại, những ngƣời đã cho tôi nhiều kiến thức quý báu về viết bài báo khoa học và trợ giúp xuất bản các bài báo. Những sự chỉ bảo quý giá của các thầy, đồng nghiệp đã giúp tôi hoàn thành tốt luận án này. Tôi cũng xin cảm ơn tới các Thầy, Cô thuộc Khoa Công nghệ thông tin, Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội đã tạo mọi điều kiện thuận lợi giúp tôi trong quá trình làm nghiên cứu sinh. Tôi cũng xin cảm ơn ban lãnh đạo trƣờng Đại học Công nghệ thông tin và truyền thông, Đại học Thái Nguyên đã tạo mọi điều kiện về mặt thời gian và công tác chuyên môn trong quá trình làm nghiên cứu sinh. Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc tới gia đình và bạn bè, những ngƣời đã luôn ủng hộ và hỗ trợ tôi về mọi mặt để tôi yên tâm học tập và đạt đƣợc kết quả học tập tốt. 3 MỤC LỤC Lời cam đoan ......................................................................................................................... 2 Lời cảm ơn ............................................................................................................................. 3 MỤC LỤC ............................................................................................................................. 4 Danh mục các từ viết tắt ........................................................................................................ 8 Danh mục các bảng ................................................................................................................ 9 Danh mục các hình vẽ, đồ thị .............................................................................................. 11 Danh mục các thuật toán ...................................................................................................... 13 Danh mục các định lý .......................................................................................................... 13 MỞ ĐẦU ............................................................................................................................. 14 CHƢƠNG 1. MẠNG NƠ-RON NHÂN TẠO ................................................................. 17 1.1 Nơ-ron sinh học .......................................................................................................... 17 1.2 Nơ-ron nhân tạo ......................................................................................................... 18 1.3 Mạng nơ-ron nhân tạo ................................................................................................ 19 1.4 Các luật học của ANN................................................................................................ 22 1.5 Ƣu và nhƣợc điểm của ANN...................................................................................... 24 1.6 Ứng dụng của ANN ................................................................................................... 24 1.7 Kết luận chƣơng ......................................................................................................... 26 CHƢƠNG 2. MỘT SỐ MẠNG NƠ-RON GHI NHỚ ..................................................... 27 2.1 Logic mờ .................................................................................................................... 27 2.1.1 Định nghĩa ........................................................................................................... 27 2.1.2 Các phép toán với tập mờ .................................................................................... 27 2.2 Toán học hình thái ...................................................................................................... 28 2.2.1 Lƣới đầy đủ.......................................................................................................... 28 2.2.2 Các thao tác cơ bản với lƣới đầy đủ .................................................................... 28 2.3 Mô hình AM ............................................................................................................... 29 2.3.1 Khái niệm về AM ................................................................................................ 29 2.3.2 Hoạt động của AM .............................................................................................. 29 2.3.3 Một số đặc điểm của AM .................................................................................... 30 2.4 Mô hình BAM ............................................................................................................ 31 4 2.4.1 Mạng Hopfield..................................................................................................... 31 2.4 2 Khái niệm về BAM ............................................................................................. 33 2.4.3 Quá trình học của BAM ...................................................................................... 34 2.4.4 Quá trình nhớ lại của BAM ................................................................................. 35 2.4.5 Hàm năng lƣợng của BAM.................................................................................. 35 2.4.6 Chiến lƣợc học nhiều lần dùng số lần lặp tối thiểu để học một cặp mẫu ............ 36 2.5 Mô hình FAM ............................................................................................................ 36 2.5.1 Khái niệm FAM ................................................................................................... 36 2.5.2 Các kiểu nơ-ron trong FAM ................................................................................ 37 2.5.3 Các FAM của Kosko và sự tổng quát hóa ........................................................... 38 2.6 Mô hình ART ............................................................................................................. 39 2.6.1 Cấu trúc của ART ................................................................................................ 39 2.6.2 Các bƣớc hoạt động chính của ART.................................................................... 40 2.6.3 Họ các mô hình của ART .................................................................................... 41 2.7 Mô hình Fuzzy ART .................................................................................................. 41 2.7.1 So sánh với ART ................................................................................................. 41 2.7.2 Thuật toán Fuzzy ART ........................................................................................ 42 2.7.3 Fuzzy ART với mã hóa đầy đủ ............................................................................ 43 2.7.3 Thƣớc đo chất lƣợng phân cụm ........................................................................... 44 2.8 Kết luận chƣơng ......................................................................................................... 44 CHƢƠNG 3. THUẬT TOÁN HỌC CẢI TIẾN CHO BỘ NHỚ LIÊN KẾT HAI CHIỀU 45 3.1 Giới thiệu chung ......................................................................................................... 45 3.2 Các nghiên cứu liên quan ........................................................................................... 45 3.2.1 Các mô hình lý thuyết.......................................................................................... 45 3.2.2 Các cách thức học ................................................................................................ 47 3.2.3 Quá trình học nhiều lần của một số BAM ........................................................... 47 3.3 Lý do đề xuất thuật toán học mới ............................................................................... 49 3.4 Thuật toán học mới cho BAM.................................................................................... 50 3.4.1 Ý tƣởng ................................................................................................................ 50 3.4.2 Phân tích mối quan hệ giữa MNTP và hàm năng lƣợng ..................................... 51 3.4.3 Nội dung thuật toán học mới ............................................................................... 52 3.5 Kết quả thực nghiệm .................................................................................................. 55 5 3.5.1 Thử nghiệm với nhận dạng vân tay ..................................................................... 55 3.5.2 Thử nghiệm với nhận dạng chữ viết tay .............................................................. 56 3.5.3 Thử nghiệm với các ứng dụng nhận dạng khác ................................................... 57 2.6 Kết luận chƣơng ......................................................................................................... 58 CHƢƠNG 4. NGHI MỜ HAI LUẬT HỌC CẢI TIẾN CHO LÝ THUYẾT CỘNG HƢỞNG THÍCH 60 4.1 Giới thiệu chung ......................................................................................................... 60 4.2 Các nghiên cứu liên quan ........................................................................................... 60 4.2.1 Mô hình ART ...................................................................................................... 60 4.2.2 Mô hình Fuzzy ART ............................................................................................ 61 4.2.3 Các luật học điển hình của ART và Fuzzy ART ................................................ 64 4.3 Lý do đề xuất hai luật học .......................................................................................... 65 4.4 Hai luật học đề xuất cho Fuzzy ART ......................................................................... 65 4.4.1 Ý tƣởng ................................................................................................................ 65 4.4.2 Nội dung của hai luật học .................................................................................... 65 4.4.3 Ƣu điểm của hai luật học ..................................................................................... 67 4.5 Kết quả thực nghiệm .................................................................................................. 68 4.5.1 Thử nghiệm 1: Dùng luật học thứ nhất................................................................ 69 4.5.2 Thử nghiệm 2: Dùng luật học thứ hai.................................................................. 75 4.6 Kết luận chƣơng ......................................................................................................... 81 CHƢƠNG 5. LUẬT HỌC CẢI TIẾN CHO BỘ NHỚ LIÊN KẾT MỜ .......................... 82 5.1 Giới thiệu chung ......................................................................................................... 82 5.2 Các nghiên cứu liên quan ........................................................................................... 82 5.2.1 Các mô hình lý thuyết.......................................................................................... 82 5.2.2 Các biến thể của FAM ......................................................................................... 83 5.2.3 Một số mô hình FAM .......................................................................................... 84 5.3 Lý do đề xuất luật học cải tiến cho FAM ................................................................... 88 5.4 Luật học cải tiến ......................................................................................................... 88 5.4.1 Ý tƣởng ................................................................................................................ 88 5.4.2 Mô hình FAM với luật học cải tiến ..................................................................... 88 5.4.3 Định lý và hệ quả về khả năng nhớ lại hoàn hảo của FAM cải tiến .................... 90 3.5 Kết quả thực nghiệm .................................................................................................. 91 3.5.1 Thử nghiệm với tập dữ liệu về các số.................................................................. 92 6 5.5.2 Thử nghiệm với tập dữ liệu của Corel ................................................................. 93 3.6 Kết luận chƣơng ......................................................................................................... 95 KẾT LUẬN.......................................................................................................................... 97 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN............................................................................................................................ 99 TÀI LIỆU THAM KHẢO ................................................................................................. 100 7 Danh mục các từ viết tắt Nội dung tiếng Việt Từ viết tắt Nội dung tiếng Anh ACAM Association-Content Associative Bộ nhớ liên kết nội dung-liên kết Memory AM Associative Memory Bộ nhớ liên kết ANN Artificial Neural Network Mạng nơ-ron nhân tạo ART Adaptive Resonance Theory Lý thuyết cộng hƣởng thích nghi ARTMAP Adaptive Resonance Theory Map BAM Bidirectional Associative Memory Bộ nhớ liên kết hai chiều FAM Fuzzy Associative Memory Bộ nhớ liên kết mờ Fast Flexible Bidirectional Associative Bộ nhớ liên kết hai chiều nhanh- Memory linh động FFBAM Fuzzy ART Fuzzy ARTMAP Fuzzy Adaptive Resonance Theory Fuzzy Adaptive Resonance Theory Map Ánh xạ lý thuyết cộng hƣởng thích nghi Lý thuyết cộng hƣởng thích nghi mờ Ánh xạ lý thuyết cộng hƣởng thích nghi mờ IFAM Implicative Fuzzy Associative Memory Bộ nhớ liên kết mờ gợi ý MAM Morphological Associative Memories Các bộ nhớ liên kết hình thái MNTP The Minimum Number of Times for training pairs of Patterns Số lần tối thiểu cần huấn luyện một cặp mẫu trong Bộ nhớ liên kết hai chiều 8 Danh mục các bảng Bảng 3.1: Thời gian học và kết quả nhớ lại các vân tay ...................................................... 56 Bảng 3.2: Thời gian học và kết quả nhớ lại các chữ viết tay............................................... 56 Bảng 3.3: Thời gian học và kết quả nhớ lại các biển hiệu giao thông ................................. 57 Bảng 3.4: Thời gian học và kết quả nhớ lại các tiền xu của Mỹ ........................................ 57 Bảng 3.5: Thời gian học và kết quả nhớ lại các phƣơng tiện giao thông ............................ 58 Bảng 4.1: Đặc trƣng của các tập dữ liệu trong thử nghiệm 1 .............................................. 69 Bảng 4.2: Kết quả phân lớp đúng của tập Iris...................................................................... 70 Bảng 4.3: Kết quả phân lớp đúng của tập Spiral ................................................................. 70 Bảng 4.4: Kết quả phân lớp đúng của tập Flame ................................................................. 71 Bảng 4.5: Kết quả phân lớp đúng của tập Blance-Scale ...................................................... 72 Bảng 4.6: Kết quả phân lớp đúng của tập R15 .................................................................... 72 Bảng 4.7: Kết quả phân lớp đúng của tập Glass .................................................................. 73 Bảng 4.8: Kết quả phân lớp đúng của tập Wine .................................................................. 73 Bảng 4.9: Kết quả phân lớp đúng của tập Jain .................................................................... 74 Bảng 4.10: Kết quả phân lớp đúng của tập Aggregation ..................................................... 74 Bảng 4.11: Sự cải thiện khả năng phân lớp của EFART với luật học thứ nhất so với mô hình tốt nhất thứ hai ............................................................................................................. 75 Bảng 4.12: Đặc trƣng của các tập dữ liệu trong thử nghiệm 2 ............................................ 76 Bảng 4.13: Kết quả phân lớp đúng của tập WDBC ............................................................. 77 Bảng 4.14: Kết quả phân lớp đúng của tập D31 .................................................................. 77 Bảng 4.15: Kết quả phân lớp đúng của tập WINE-WHITE ................................................ 77 Bảng 4.16: Kết quả phân lớp đúng của tập BALANCE-SCALE ........................................ 79 Bảng 4.17: Kết quả phân lớp đúng của tập R15 .................................................................. 79 9 Bảng 4.18: Kết quả phân lớp đúng của tập MONK ............................................................. 79 Bảng 4.19: Kết quả phân lớp đúng của tập WINE-RED ..................................................... 80 Bảng 4.20: Sự cải thiện khả năng phân lớp của EFART so với mô hình tốt nhất thứ hai trong thử nghiệm 2 ............................................................................................................... 80 Bảng 5.1: Kết quả của thử nghiệm bộ nhớ tự liên kết với tập dữ liệu về con số................. 92 Bảng 5.2: Kết quả thử nghiệm của bộ nhớ liên kết khác loại với tập dữ liệu về con số ..... 93 Bảng 5.3: Kết quả của thử nghiệm bộ nhớ tự liên kết với tập dữ liệu của Corel ................ 94 Bảng 5.4: Kết quả của thử nghiệm bộ nhớ liên kết khác loại với tập dữ liệu của Corel ..... 94 10