MoViNet-A2 cho bài toán nhận diện ký hiệu Tiếng Việt

Trương Duy Việt (), Ngô Hữu Gia Huy, Phạm Đăng Khôi and Nguyễn Trần Thiên Phúc
Additional contact information
Trương Duy Việt: Trường Cao đẳng Đà Lạt, Thành phố Đà Lạt, Việt Nam
Ngô Hữu Gia Huy: Trường Cao đẳng Đà Lạt, Thành phố Đà Lạt, Việt Nam
Phạm Đăng Khôi: Trường Cao đẳng Đà Lạt, Thành phố Đà Lạt, Việt Nam
Nguyễn Trần Thiên Phúc: Trường Cao đẳng Đà Lạt, Thành phố Đà Lạt, Việt Nam

TẠP CHÍ KHOA HỌC ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH - KỸ THUẬT VÀ CÔNG NGHỆ, 2025, vol. 20, issue 2, 3-14

Abstract: Nhận diện ngôn ngữ ký hiệu từ video là một bài toán quan trọng nhằm hỗ trợ giao tiếp cho cộng đồng người khiếm thính. Tuy nhiên, sự đa dạng của cử chỉ, góc quay khác nhau và điều kiện môi trường biến thiên đặt ra nhiều thách thức cho các hệ thống nhận dạng truyền thống. Trong nghiên cứu này, chúng tôi đề xuất một phương pháp nhận diện ngôn ngữ ký hiệu tiếng Việt dựa trên MoViNet-A2, một mô hình tiên tiến được tối ưu hóa cho nhận dạng hành động trong video trên thiết bị di động. Bộ dữ liệu nghiên cứu bao gồm 98 từ hoặc cụm từ, được thực hiện bởi 18 học sinh từ Trường Khuyết tật Lâm Đồng - Đà Lạt, với tổng cộng 4,709 video từ ba góc quay khác nhau, đảm bảo tính đa dạng trong dữ liệu huấn luyện. Kết hợp với MoViNet-A2 là backbone được tiền huấn luyện trên tập Kinetics-600, kết hợp với các kỹ thuật tiền xử lý như cân bằng lớp, chuẩn hóa độ sáng và các phương pháp tăng cường dữ liệu nhằm nâng cao khả năng tổng quát hóa của mô hình. Kết quả thực nghiệm đạt độ chính xác Top-1 88.55% trên tập kiểm tra. Nghiên cứu cho thấy phương pháp đề xuất đạt hiệu suất cao trong việc phân loại và nhận diện các cử chỉ ký hiệu, đồng thời đảm bảo khả năng xử lý thời gian thực trên thiết bị di động. Nghiên cứu này không chỉ góp phần nâng cao độ chính xác của hệ thống nhận diện ngôn ngữ ký hiệu mà còn mở ra tiềm năng ứng dụng thực tế trong hỗ trợ giao tiếp cho cộng đồng người khiếm thính.

Keywords: học sâu; nhận dạng hành động; nhận diện ngôn ngữ ký hiệu; MoViNet-A2; tăng cường dữ liệu (search for similar items in EconPapers)
Date: 2025
References: Add references at CitEc
Citations:

Downloads: (external link)
https://journalofscience.ou.edu.vn/index.php/tech-vi/article/view/4201/2491 (application/pdf)

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:bjw:techvi:v:20:y:2025:i:2:p:3-14

DOI: 10.46223/HCMCOUJS.tech.vi.20.2.4201.2025

Access Statistics for this article

TẠP CHÍ KHOA HỌC ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH - KỸ THUẬT VÀ CÔNG NGHỆ is currently edited by Nguyen Thuan

More articles in TẠP CHÍ KHOA HỌC ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH - KỸ THUẬT VÀ CÔNG NGHỆ from HO CHI MINH CITY OPEN UNIVERSITY JOURNAL OF SCIENCE, HO CHI MINH CITY OPEN UNIVERSITY
Bibliographic data for series maintained by Vu Tuan Truong ().