Nội dung

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐẮC THÀNH NHẬN DẠNG VÀ PHÂN LOẠI HOA QUẢ TRONG ẢNH MÀU LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM Hà Nội – 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐẮC THÀNH NHẬN DẠNG VÀ PHÂN LOẠI HOA QUẢ TRONG ẢNH MÀU Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS. LÊ THANH HÀ NGƯỜI ĐỒNG HƯỚNG DẪN KHOA HỌC: TS. TRẦN QUỐC LONG Hà Nội – 2017 1 Lời cam đoan Tôi xin cam đoan đây là công trình nghiên cứu khoa học của riêng tôi và được sự hướng dẫn khoa học của PGS. TS. Lê Thanh Hà và TS. Trần Quốc Long. Các nội dung nghiên cứu, kết quả trong đề tài này là trung thực và chưa công bố dưới bất kỳ hình thức nào trước đây. Những số liệu trong các bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá được chính tác giả thu thập từ các nguồn khác nhau có ghi rõ trong phần tài liệu tham khảo. Ngoài ra, trong luận văn còn sử dụng một số nhận xét, đánh giá cũng như số liệu của các tác giả khác, cơ quan tổ chức khác đều có trích dẫn và chú thích nguồn gốc. Nếu phát hiện có bất kỳ sự gian lận nào tôi xin hoàn toàn chịu trách nhiệm về nội dung luận văn của mình. Học viên Cao học Nguyễn Đắc Thành 2 Lời cảm ơn Trước tiên, tôi xin bày tỏ sự biết ơn chân thành và sâu sắc nhất tới PGS. TS. Lê Thanh Hà – Giáo viên hướng dẫn trực tiếp và TS. Trần Quốc Long – Giáo viên đồng hướng dẫn của tôi, những người đã hết lòng hỗ trợ và giúp đỡ tôi trong quá trình nghiên cứu và hoàn thiện luận văn thạc sĩ của mình. Đồng thời tôi cũng gửi lời cám ơn chân thành đến Trần Tuấn Linh, thành viên nhóm đề tài, đã hỗ trợ tôi rất nhiều trong thời gian xây dựng cơ sở dữ liệu cũng như phát triển và cài đặt giải pháp cho bài toán trong luận văn này. Tôi cũng xin gửi lời cảm ơn chân thành tới các thầy, các cô là giảng viên của trường Đại học Công nghệ đã tận tình dạy dỗ và hướng dẫn cho tôi trong suốt quá trình học tập thạc sĩ tại trường. Và tôi cũng xin gửi lời cảm ơn tới bố mẹ và những người thân trong gia đình vì đã nuôi nấng, dạy dỗ, chăm lo cho tôi, động viên tôi hoàn thành thật tốt khóa học thạc sĩ này. Mặc dù đã hết sức cố gắng hoàn thành luận văn nhưng chắc chắn sẽ không tránh khỏi những sai sót. Kính mong nhận được sự cảm thông, chỉ bảo tận tình của các quý thầy cô và các bạn. Tôi xin chân thành cảm ơn! 3 Mục lục Lời cam đoan .................................................................................................................. 1 Lời cảm ơn ...................................................................................................................... 2 Danh mục hình vẽ .......................................................................................................... 5 Danh mục bảng biểu ...................................................................................................... 6 Danh mục từ viết tắt ...................................................................................................... 7 MỞ ĐẦU ......................................................................................................................... 8 1. Tính cấp thiết của đề tài luận văn ..........................................................................8 2. Mục tiêu của luận văn ...........................................................................................8 2.1. Cơ sở dữ liệu ảnh hoa quả ..............................................................................8 2.2. Bộ huấn luyện nhận dạng hoa quả ..................................................................9 2.3. Ứng dụng nhận dạng hoa quả .........................................................................9 3. Cấu trúc của luận văn ............................................................................................9 Chương 1. Giới thiệu tổng quan ............................................................................ 11 1.1. Bài toán nhận dạng và phân loại hoa quả ........................................................11 1.2. Các hướng tiếp cận và giải quyết bài toán .......................................................12 1.2.1. Phương pháp Học máy truyền thống.........................................................13 1.2.2. Phương pháp Học sâu ...............................................................................15 Chương 2. Mạng nơ-ron tích chập ........................................................................ 19 2.1. Kiến trúc Mạng nơ-ron tích chập ........................................................................19 2.2. Học chuyển giao và tinh chỉnh mô hình huấn luyện ...........................................22 2.3. Mạng huấn luyện AlexNet ..................................................................................25 2.3.1. Kiến trúc mạng AlexNet ...........................................................................26 2.3.2. Ứng dụng mạng AlexNet vào bài toán Nhận dạng, phân loại hoa quả .....27 Chương 3. Hệ thống phần mềm nhận dạng hoa quả ........................................... 29 3.1. Tổng quan hệ thống.............................................................................................29 3.2. Mô đun quản lý cơ sở dữ liệu..............................................................................32 3.3. Bộ huấn luyện mô hình .......................................................................................33 3.3.1. Môi trường huấn luyện ..............................................................................37 3.3.2. Cấu hình mạng huấn luyện AlexNet .........................................................38 3.3.3. Một số hình ảnh về đặc trưng do mạng AlexNet tính toán .......................39 3.4. Các mô đun phía Server ......................................................................................41 3.5. Ứng dụng phía Client ..........................................................................................45 4 Chương 4. Kết quả thử nghiệm và đánh giá ........................................................ 49 4.1. So sánh với phương pháp Học máy truyền thống ...............................................49 4.2. So sánh kết quả với bộ CSDL được sinh tự động ...............................................51 4.3. Thử nghiệm ứng dụng trong thực tế ...................................................................53 Chương 5. Kết luận ................................................................................................. 55 TÀI LIỆU THAM KHẢO........................................................................................... 56 5 Danh mục hình vẽ Hình 1.1: Các khó khăn trong bài toán nhận dạng vật thể trong ảnh ............................12 Hình 1.2: Sự đa dạng về chủng loại của một loại hoa quả ............................................12 Hình 1.3: Các thông tin về hình học được tính toán bởi các thuật toán Xử lý ảnh .......13 Hình 1.4: Mô hình hoạt động chung của các phương pháp Học máy [2] .....................14 Hình 1.5: Mối quan hệ của Học sâu với các lĩnh vực liên quan....................................16 Hình 1.6: Mức độ trừu tượng tăng dần qua các tầng học của Học sâu [11] ..................16 Hình 1.7: Bức ảnh quả tạ hai đầu sinh ra bởi mô hình dự đoán Học sâu ......................17 Hình 2.1: Kiến trúc cơ bản của một mạng tích chập .....................................................19 Hình 2.2: Ví dụ bộ lọc tích chập được sử dụng trên ma trận điểm ảnh ........................20 Hình 2.3: Trường hợp thêm/không thêm viền trắng vào ảnh khi tích chập ..................21 Hình 2.4: Phương thức Avarage Pooling và Max Pooling ............................................22 Hình 2.5: Kết quả thực nghiệm theo số lượng lớp mạng CNN được chuyển giao [16] 24 Hình 2.6: Kết quả huấn luyện sau khi tinh chỉnh mạng AlexNet [17] ..........................25 Hình 2.7: Kiến trúc mạng AlexNet [20] ........................................................................26 Hình 2.8: Kiến trúc mạng AlexNet ở dạng phẳng .........................................................27 Hình 3.1: Kiến trúc Client-Server n tầng.......................................................................30 Hình 3.2: Luồng hoạt động chính của hệ thống ............................................................32 Hình 3.3: Biểu đồ ca sử dụng của Bộ huấn luyện mô hình ...........................................34 Hình 3.4: Các framework Học sâu nổi tiếng trên thế giới.............................................37 Hình 3.5: Cách thức framework Caffe định nghĩa một lớp trong mạng CNN ..............39 Hình 3.6: Các đặc trưng tiêu biểu của lớp tích chập đầu tiên [25] ................................40 Hình 3.7: Kết quả ảnh đầu ra qua các lớp tích chập ......................................................41 Hình 3.8: Biểu đồ ca sử dụng của Server ......................................................................41 Hình 3.9: Biểu đồ ca sử dụng của Client .......................................................................46 Hình 4.1: Một số ảnh đã lọc nền trong bộ CSDL 20 loại quả .......................................49 Hình 4.2: Ảnh hoa quả gốc và các ảnh được sinh tự động ............................................52 Hình 4.3: Kết quả nhận dạng tốt với loại quả có đặc trưng riêng biệt ..........................53 Hình 4.4: Kết quả nhận dạng chưa tốt với loại quả không có đặc trưng riêng biệt.......53 Hình 4.5: Kết quả nhận dạng với loại quả không được huấn luyện ..............................54 6 Danh mục bảng biểu Bảng 4.1: So sánh sơ bộ kết quả huấn luyện của 2 phương pháp .................................51 Bảng 4.2: Ảnh hưởng của bộ ảnh sinh tự động với chất lượng mô hình nhận dạng .....52 7 Danh mục từ viết tắt Ý nghĩa STT Từ viết tắt 1 CSDL Cơ sở dữ liệu 2 CNN Convolutional Neural Network – Mạng nơ ron tích chập 3 ReLU Rectified Linear Unit – Tinh chỉnh đơn vị tuyến tính 4 GPU Graphics Processing Unit – Bộ vi xử lý đồ họa 8 MỞ ĐẦU 1. Tính cấp thiết của đề tài luận văn Hiện nay, ở nước ta nói riêng và ở các nước đang phát triển có nền nông nghiệp là một trong các ngành sản xuất chủ yếu, quá trình thu hoạch, phân loại và đánh giá chất lượng các loại sản phẩm nông nghiệp, đặc biệt là các loại hoa quả, chủ yếu còn phải thực hiện bằng các phương pháp thủ công. Đây là công việc không quá khó, nhưng tiêu tốn nhiều thời gian, công sức của con người và là rào cản đối với mở rộng phát triển quy mô sản xuất nông nghiệp. Do đó, nhiều phương pháp tự động hóa công việc thu hoạch, nhận dạng và đánh giá chất lượng hoa quả đã được nghiên cứu và đưa vào ứng dụng thực tế, trong đó sử dụng chủ yếu các phương pháp Xử lý ảnh đơn thuần. Tuy nhiên, các phương pháp này vẫn chưa thực sự thỏa mãn yêu cầu về khả năng nhận dạng một số lượng lớn các loại hoa quả với độ chính xác cao do bị hạn chế bởi các đặc trưng của bài toán nhận dạng hoa quả: số lượng chủng loại lớn với nhiều loại hoa quả hết sức tương tự nhau, sự biến thiên về hình dạng, màu sắc, chi tiết trong từng loại quả cũng rất khó dự đoán trước… Trong thời gian gần đây, nhờ có sự phát triển mạnh mẽ về khả năng tính toán của các thế hệ máy tính hiện đại cũng như sự bùng nổ về dữ liệu thông qua mạng lưới Internet trải rộng, ta đã chứng kiến nhiều sự đột phá trong lĩnh vực Học máy, đặc biệt là trong lĩnh vực Thị giác máy tính. Sự quay lại và phát triển vượt bậc của các phương pháp Học sâu đã giúp Thị giác máy tính đạt được những thành tựu đáng kể trong lĩnh vực Nhận dạng ảnh, trong đó có bài toán nhận dạng hoa quả. Đề tài nghiên cứu “Nhận dạng và phần loại hoa quả trong ảnh màu” đã được đưa ra với hy vọng có thể ứng dụng thành công các mô hình học sâu hiện đại để xây dựng một hệ thống nhận dạng hoa quả tự động, đặc biệt là đối với các loại hoa quả phổ biến tại nước ta. 2. Mục tiêu của luận văn Do thời gian hạn chế trong thời gian thực hiện nghiên cứu, luận văn trước hết tập trung nghiên cứu, tìm hiểu và so sánh các phương pháp Học máy truyền thống với phương pháp Học sâu, đồng thời thực hiện cài đặt một mô hình huấn luyện về nhận dạng ảnh trong Học sâu với số lượng hoa quả được hạn chế, và sử dụng chúng làm bộ nhận dạng cơ sở cho ứng dụng hỗ trợ nhận dạng hoa quả trên điện thoại thông minh. 2.1. Cơ sở dữ liệu ảnh hoa quả Bộ cơ sở dữ liệu ảnh là một trong các thành phần quan trọng hàng đầu trong các phương pháp Học máy nói chung, được sử dụng để phục vụ cho quá trình tính toán tham số và huấn luyện, tinh chỉnh các mô hình. Thông thường, bộ dữ liệu càng lớn và càng được chọn lọc tỉ mỉ cẩn thận thì độ chính xác của mô hình càng được cải thiện, nhưng