Tìm hiểu công trình nghiên cứu cách giao tiếp cho người khiếm thính và khiếm thị

Đây là đề tài nghiên cứu của nhóm sinh viên, cựu sinh viên khoa Công nghệ Thông tin, trường Đại học Quốc tế, ĐHQG TP.HCM, dưới sự hướng dẫn của TS. Lê Duy Tân và TS. Vi Chí Thành - Giảng viên Khoa Công nghệ Thông tin của trường.

Đề tài đã nhận được giải Nhì tại Swinburne Hackathon (Đại học Swinburne Việt Nam), vào tháng 9/2024. Sau khi được cải tiến, đề tài đã được chấp nhận tại hội nghị 2025 Conference on Human Factors in Computing Systems (Hội nghị về các yếu tố con người trong hệ thống máy tính năm 2025), một hội nghị hạng A* hàng đầu trong lĩnh vực tương tác Người - Máy.

Cảm nhận xúc giác trên lòng bàn tay

Kỹ sư Đặng Nguyễn Nam Anh - nhóm trưởng của dự án, cựu sinh viên khoa Công nghệ thông tin, Trường ĐH Quốc Tế, ĐHQG TP.HCM, cho biết tại một hội thảo quốc tế, nhóm đã thấy một người vừa khiếm thị vừa khiếm thính (deafblind) đang được người hỗ trợ chạm và vẽ những ký hiệu nhỏ trên lòng bàn tay.

“Ban đầu, chúng tôi không hiểu lắm, nhưng dần nhận ra đây là một hệ thống giao tiếp xúc giác, giúp họ tiếp nhận thông tin từ buổi hội thảo. Đây chính là khoảnh khắc truyền cảm hứng cho nhóm”, Nam Anh chia sẻ.

Từ đó, nhóm tiến hành một dự án nghiên cứu về cách con người cảm nhận và nhận diện tín hiệu xúc giác trên lòng bàn tay. Mục tiêu để xây dựng nền tảng khoa học cho cảm nhận xúc giác. Từ đó tạo tiền đề cho các ứng dụng hỗ trợ người khuyết tật – đặc biệt là cộng đồng deafblind. Đồng thời, mở ra một phương thức giao tiếp không lời (voiceless communication), giúp họ kết nối với thế giới theo cách riêng của mình.

Ví dụ trong môi trường thực tế ảo (VR) và thực tế tăng cường (AR), tín hiệu rung có thể được sử dụng để truyền thông tin mà không cần hiển thị văn bản hay âm thanh, giúp người dùng tương tác một cách trực quan hơn. Ngoài ra, trong các tình huống đặc biệt như hoạt động cứu hộ trong điều kiện tối hoặc ồn ào, nơi giao tiếp bằng lời nói bị hạn chế, công nghệ này có thể trở thành một giải pháp hữu ích, giúp truyền tải thông tin nhanh chóng và chính xác.

Tối ưu giao tiếp qua xúc giác

Theo Nam Anh, trước nay đã có nhiều thiết bị sử dụng rung động trên các bộ phận khác của cơ thể, như vòng đeo tay hoặc băng đeo rung để hỗ trợ người khiếm thị định hướng hoặc cảnh báo vật cản. Tuy nhiên, những thiết bị này thường chỉ truyền tải tín hiệu đơn giản như báo hiệu hướng đi hoặc cảnh báo nguy hiểm. Còn các thiết bị rung trên lòng bàn tay cũng đã được nghiên cứu, đặc biệt trong VR, nhưng chủ yếu để mô phỏng cảm giác chạm hoặc tạo phản hồi xúc giác đơn giản, thay vì truyền tải nội dung thông tin phức tạp. Đa số các hệ thống này chỉ sử dụng rung động ở một vài vị trí cố định, chưa khai thác toàn diện khả năng cảm nhận của lòng bàn tay.

“

Chúng tôi mong muốn nghiên cứu sâu hơn về cách con người cảm nhận và phân biệt tín hiệu rung bằng tích hợp nhiều mô-tơ rung trên lòng bàn tay, bao phủ nhiều vị trí khác nhau. Thử nghiệm các yếu tố như vị trí, khoảng cách, cường độ và tần số rung, để có thể tối ưu, giúp tín hiệu rung được nhận diện rõ ràng và hiệu quả hơn.

Kỹ sư Đặng Nguyễn Nam Anh

Cụ thể, nhóm tiến hành thí nghiệm với 10 người (có kích thước bàn tay trung bình của người Việt) cho thấy độ chính xác thấp, chỉ đạt 25%, do sự nhầm lẫn về vị trí rung, hướng rung và cách cảm nhận tín hiệu. Rung theo phương ngang được nhận biết tốt hơn so với rung theo phương dọc. Các thử nghiệm vuốt xác nhận rằng độ trễ và thời gian rung 100ms giúp cải thiện độ rõ ràng. Cuối cùng, hai mô-tơ rung được ngăn cách bởi một mô-tơ không rung thường bị hiểu nhầm là một hàng hoặc cột rung, nhấn mạnh sự cần thiết phải tối ưu hóa hệ thống rung.

Hơn nữa, người tham gia gặp khó khăn trong việc phân biệt tín hiệu ở các vùng lõm của lòng bàn tay, dẫn đến sự hiểu sai. “Nhờ những phát hiện về sự nhầm lẫn trong nhận diện tín hiệu tại các vùng lõm của lòng bàn tay, chúng tôi có thể tận dụng điều này để tinh chỉnh thiết kế hệ thống, giúp thiết bị khi ứng dụng thực tế được cấu hình tối ưu nhằm giảm thiểu hiểu nhầm và đảm bảo tín hiệu truyền tải chính xác hơn.”, Nam Anh khẳng định.

Nhóm cũng đang có kế hoạch thu nhỏ các linh kiện, sử dụng vật liệu nhẹ, hợp nhất hệ thống dây bằng mạch dẻo hoặc cáp ruy-băng, đồng thời triển khai các giao thức truyền thông như HTTP hoặc MQTT để tiếp nhận tín hiệu.

Phương thức giao tiếp của tương lai

Cũng theo Nam Anh, trong tương lai, nhóm không chỉ hướng đến hỗ trợ người khiếm thị - khiếm thính bẩm sinh mà còn muốn phát triển một phương thức giao tiếp bằng xúc giác có thể đóng góp cho xã hội. Đặc biệt trong những tình huống mà âm thanh hay chữ viết không phải là cách truyền tải thông tin tối ưu.

Với sản phẩm hướng đến người khiếm thị - khiếm thính, nhóm đang nghiên cứu tích hợp công nghệ AI để nhận diện giọng nói và chuyển thành tín hiệu rung, giúp họ có thể cảm nhận thông tin qua xúc giác.

Bên cạnh đó, nhóm cũng nghiên cứu sâu hơn về các yếu tố khác ảnh hưởng đến cảm nhận của người dùng. “Để phát triển một kênh giao tiếp mới thông qua xúc giác, nhóm sẽ tiếp tục nghiên cứu sâu hơn về các yếu tố như tần số và độ trễ của tín hiệu rung, nhằm tìm ra cách truyền tải thông tin chính xác và tự nhiên nhất”, Nam Anh khẳng định.