Nhận dạng cử chỉ bàn tay dùng mạng nơ-ron chập

##plugins.themes.academic_pro.article.main##

Author

  • Lê Minh Thành, Lê Minh, Phan Văn Ca, Đặng Phước Hải Trang, Đỗ Duy Tân, Trương Ngọc Sơn

Từ khóa:

Nhận dạng cử chỉ bàn tay
nơ-ron chập
CNN

Tóm tắt

Giao diện người – máy sẽ trực quan hơn nếu con người có thể điều khiển máy tính bằng giọng nói hay cử chỉ mà không cần dùng các thiết bị điều khiển như chuột hay bàn phím. Đặc biệt, hệ thống thị giác sẽ thích hợp hơn trong môi trường ồn ào hoặc có âm thanh bị nhiễu. Bên cạnh đó, mạng nơ-ron chập được áp dụng khá nhiều trong các bài toán nhận dạng với độ chính xác cao như nhận dạng gương mặt, nhận dạng số viết tay, xử lý ngôn ngữ tự nhiên. Bài báo này thiết lập một mạng nơ-ron chập với 14 lớp và ứng dụng vào hệ thống nhận dạng 6 cử chỉ bàn tay phải, với đối tượng đầu vào là các ảnh tĩnh thu được từ camera điện thoại. Tập dữ liệu huấn luyện được tạo ra từ các cử chỉ tay của 7 người. Kết quả mô phỏng trên matlab cho thấy hệ thống có tỷ lệ chính xác 98,6% đối với các ảnh bàn tay được chụp chính diện, có độ sáng và độ mở của các ngón tay thích hợp.

Tài liệu tham khảo

    [1] Oyebade Oyedotun and Adnan Khashman, “Deep learning in vision-based static hand gesture recognition”, Neural Computing and Applications, vol. 28, Apr. 2016.
    [2] Deval G. Patel, “Point Pattern Matching Algorithm for Recognition of 36 ASL Gestures”, International Journal of Science and Modern Engineering (IJISME), vol. 1, no. 7, June 2013.
    [3] Dennis Núñez Fernández and Bogdan Kwolek, “Hand Posture Recognition Using Convolutional Neural Network”, Polish National Science Center (CNN), Dec. 2014.
    [4] Aashni Haria, Archanasri Subramanian, Nivedhitha Asokkumar, Shristi Poddar, and Jyothi Nayak, “Hand Gesture Recognition for Human Computer Interaction”, Procedia Computer Science, vol. 115, pp. 367-374, Dec. 2017.
    [5] J. P. Wachs, M. Kölsch, H. Stern, Y. Edan, “Vision-based hand-gesture applications” Commun. ACM 2011, vol. 54, no. 2, pp. 60–71, 2011.
    [6] J.R. Pansare, S. H. Gawande, M. Ingle, “Real-time static hand gesture recognition for American Sign Language (ASL) in complex background”, Journal of Signal and Information Processing, vol. 3, no. 2, Aug. 2012.
    [7] M. Van den Bergh, D. Carton, R. De Nijs, N. Mitsou, C. Landsiedel, K. Kuehnlenz, D. Wollherr, L. Van Gool, M. Buss, “Real-time 3D hand gesture interaction with a robot for understanding directions from humans”, Proceedings of the 2011 Ro-Man, Atlanta, GA, USA, 31 July–3 August, pp. 357–362, 2011.
    [8] R.Y. Wang, J. Popovi´c, “Real-time hand-tracking with a color glove”, ACM Trans. Graph., vol. 28, pp. 1–8, 2009.
    [9] S. Desai, A. Desai, “Human Computer Interaction through hand gestures for home automation using Microsoft Kinect”, Proceedings of the International Conference on Communication and Networks, Xi’an, China, 10–12 October, pp. 19–29, 2017.
    [10] H. Kaur, J. Rani, “A review: Study of various techniques of Hand gesture recognition”. Proceedings of the 2016 IEEE 1st International Conference on Power Electronics, Intelligent Control and Energy Systems (ICPEICES), Delhi, India, pp. 1–5, Jul. 2016.
    [11] G. R. S. Murthy, R. S. Jadon, “A review of vision based hand gestures recognition”, Int. J. Inf. Technol. Knowl. Manag., vol. 2, pp. 405–410, 2009.
    [12] R. Z. Khan, N. A. Ibraheem, “Hand gesture recognition: A literature review”. Int. J. Artif. Intell. Appl., vol. 3, pp. 161-174, 2012.
    [13] J. Suarez and R. R. Murphy, “Hand gesture recognition with depth images: A review”, The 21st IEEE International Symposium on Robot and Human Interactive Communication, Paris, France, pp. 411-417, 2012.
    [14] T-K. Kim, S-F. Wong and R. Cipolla, Tensor Canonical Correlation Analysis for Action Classification, In Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Minneapolis, MN, 2007.
Xem thêm

##plugins.themes.academic_pro.article.sidebar##

Đã Xuất bản

Apr 30, 2021
Download
PDF
Cách trích dẫn
Lê Minh Thành, Lê Minh, Phan Văn Ca, Đặng Phước Hải Trang, Đỗ Duy Tân, Trương Ngọc Sơn. “Nhận dạng cử chỉ bàn Tay dùng mạng Nơ-Ron chập”. Tạp Chí Khoa học Và Công nghệ - Đại học Đà Nẵng, vol 19, số p.h 4.1, Tháng Tư 2021, tr 53-56, https://jst-ud.vn/jst-ud/article/view/7427.

##plugins.themes.academic_pro.article.details##