Nghiên cứu công nghệ DeepFace trong nhận dạng khuôn mặt và ứng dụng vào điểm danh các lớp sinh viên khoa CNTT

Ngày 11/12/2023, Khoa Công nghệ thông tin – Học viện Nông nghiệp Việt Nam tổ chức họp Hội đồng đánh giá, nghiệm thu đề tài nghiên cứu khoa học cấp Học viện năm 2023: “Nghiên cứu công nghệ DeepFace trong nhận dạng khuôn mặt và ứng dụng vào điểm danh các lớp sinh viên khoa CNTT” - Mã số T2023-10-42 do ThS. Lương Minh Quân làm chủ nhiệm đề tài.

Hội đồng nghiệm thu đề tài gồm 5 thành viên, TS. Trần Vũ Hà là Chủ tịch Hội đồng.

ThS. Lương Minh Quân trình bày tóm tắt kế quả nghiên cứu của đề tài

Tại buổi báo cáo, thay mặt nhóm nghiên cứu, ThS. Lương Minh Quân đã trình bày báo cáo tóm tắt kết quả nghiên cứu của đề tài.

Vấn đề giám sát an ninh trong khuôn viên các trường đại học và kiểm soát việc tham dự lớp học của sinh viên tại giảng đường đại học là việc làm cần thiết để đảm bảo an toàn cho môi trường học tập và nâng cao chất lượng học tập, đào tạo của sinh viên. Hiện nay giảng viên có thể tiến hành điểm danh sinh viên bằng nhiều hình thức khác nhau như: trực tiếp gọi tên, điểm danh thông qua bài kiểm tra,… Trong nghiên cứu này, nhóm tác giả đề xuất việc sử dụng công nghệ nhận dạng khuôn mặt được phát triển bởi deepface để phát hiện các đặc trưng đơn nhất của mỗi khuôn mặt người, từ đó xây dựng hệ thống nhận dạng tự động thông qua camera giám sát tại giảng đường hoặc ảnh chụp lớp học để phát hiện sự có mặt của sinh viên một cách tự động. Việc này sẽ làm giảm áp lực công việc cho giảng viên giảng dạy trên lớp, đồng thời sẽ tạo ra cảm hứng cho sinh viên đam mê nghiên cứu khoa học, nâng cao chất lượng đào tạo đặc biệt với sinh viên Khoa CNTT.     

Một số kết quả nghiên cứu chính của đề tài:

1.  Phân tích số liệu số hóa khuôn mặt

*  Phương pháp phân tích thành phần chính (PCA)

Phương pháp phân tích thành phần chính (PCA) được sử dụng để phân tích sự phân bố trong không gian 3 chiều cấu trúc dữ liệu của véc tơ nhúng 128-D cho 200 sinh viên.

Phân bố không gian của véc-tơ mã hóa 128-D

*  Phương pháp phân tích dựa trên các thuật toán máy học

Để đánh giá bộ dữ liệu kiểm tra của 200 (mẫu), mỗi mẫu có 30 ảnh, mỗi ảnh được mã hóa thành véc tơ 128 – D, theo tỉ lệ  80, 20 dữ liệu cho tập đào kiểm thử.  Nhóm nghiên cứu sử dụng các mô hình học máy từ thư viện sklearn để đánh giá độ chính xác của các thuật toán. Kết quả được mô tả trong bảng 2. Từ kết quả trên cho thấy, các mô hình học máy KNN và SVM cho kết quả có độ chính xác tới trên 99% với bộ dữ liệu được số hóa bởi mạng MTCNN – FaceNet

2.  Phần mềm nhận diện khuôn mặt

Phần mềm nhận diện khuôn mặt được phát triển bởi nhóm nghiên cứu dựa trên 3 công nghệ lõi: Mạng học sâu đa nhiệm MTCNN; Mạng số hóa hình ảnh khuôn mặt bởi FaceNet; Giải thuật phân lớp SVM.

Giao diện phần mềm nhận diện khuôn mặt

Chế độ điểm danh qua ảnh chụp

Chế độ điểm danh qua webcam

Thông tin điểm danh trong cơ sơ dữ liệu

Nhóm nghiên cứu đã phát triển thành công phần mềm nhận dạng khuôn mặt người dựa trên mạng học sâu đa nhiệm MTCNN, số hóa bởi công nghệ FaceNet và nhận diện khuôn mặt bằng thuật toán phân lớp SVM dựa trên khoảng cách giữa các véc tơ số hóa trong không gian 128 chiều. Nhóm đã áp dụng phần mềm trên các nhóm sinh viên khoa CNTT tham gia thực tập Vật lý tại phòng thí nghiệm với các hình thức điểm danh khác nhau: điểm danh qua ảnh chụp; điểm danh có kiểm soát của giáo viên và điểm danh tự động. Số liệu điểm danh theo từng buổi được lưu trữ trong cơ sở dữ liệu giúp giáo viên dễ dàng thống kê thông tin tham dự lớp học của từng sinh viên.

Trên cơ sở tổng hợp các ý kiến nhận xét của thành viên Hội đồng nghiệm thu, TS. Trần Vũ Hà – Chủ tịch Hội đồng kết luận: Đây là một đề tài khoa học công nghệ được ứng dụng vào thực tiễn quản lý sinh viên Công nghệ điểm danh qua nhận dạng khuôn mặt đã hỗ trợ giáo viên trong việc quản lý sinh viên một cách hiệu quả, qua đó kịp thời ngăn chặn được các hình thức gian lận trong học tập như: sinh viên bỏ học và thuê người khác đi học, điểm danh; thuê người đi thi;. Sản phẩm của đề tài nên được sử dụng rộng rãi trong toàn Học viện. Đề nghị nhóm thực hiện đề tài tiếp tục nghiên cứu thêm các phần mềm hỗ trợ phục vụ công tác quản lý sinh viên của Khoa cũng như của Học viện và phát triển thành đề xuất đề tài khoa học công nghệ ở cấp cao hơn.

Khoa Công nghệ thông tin