Kính AR của sinh viên Đà Nẵng hỗ trợ người khiếm thính

Trưởng nhóm dự án là Võ Nguyễn Đại Hiếu, hiện theo học tại Trường ĐH Sư phạm kỹ thuật thuộc ĐH Đà Nẵng. Nhóm khai thác hướng ứng dụng kính AI & kính thông minh nhằm hỗ trợ giao tiếp cho người có cách tiếp nhận ngôn ngữ khác nhau.

Kính AR chuyển lời nói thành phụ đề và thủ ngữ

Hiếu cho biết hệ thống dùng microphone ghi lại lời người đối diện, rồi để trí tuệ nhân tạo (AI) nhận diện thành văn bản. Nội dung tiếp tục được xử lý theo ngôn ngữ ký hiệu Việt Nam, rồi hiển thị dưới dạng chữ hoặc nhân vật 3D thực hiện động tác ký hiệu.

Kính thực tế tăng cường (AR) đưa nội dung số vào tầm nhìn của người đeo, ngay trong lúc trò chuyện với người khác. Phụ đề phục vụ người đọc hiểu tiếng Việt tốt, còn nhân vật biểu diễn thủ ngữ dành cho người chủ yếu dùng ngôn ngữ ký hiệu.

Khảo sát của nhóm tại Trung tâm Giáo dục và hỗ trợ người điếc miền Trung ghi nhận sự khác biệt về khả năng đọc hiểu chữ viết. Nhóm từ đó điều chỉnh cỡ chữ, vị trí, nhịp hiển thị và cách diễn đạt của phụ đề, đồng thời xem xét tầm quan sát cùng hình thức kính.

Sign Meeting và mục tiêu giao tiếp hai chiều

Ngoài thiết bị đeo, nhóm xây dựng công cụ trên website để biến âm thanh thành nội dung mà người khiếm thính có thể tiếp nhận. Ứng dụng Sign Meeting cũng được phát triển cho các cuộc họp, việc học và trao đổi qua mạng.

Với mục tiêu giao tiếp hai chiều, nhóm hướng tới khả năng nhận diện động tác ký hiệu do người khiếm thính thực hiện. Hiếu cho biết hệ thống dự kiến chuyển phần diễn đạt này sang tiếng Việt hoặc văn bản để người đang trò chuyện tiếp nhận.

Thử nghiệm thực tế với kính hỗ trợ người khiếm thính

Theo Hiếu, nhóm đang thử kính qua các cuộc hội thoại trực tiếp, hoạt động trao đổi trên mạng, tại nơi ồn ào và lúc xem video. Kế hoạch tiếp theo là thử nghiệm cùng ít nhất 10 người khiếm thính để tiếp tục đánh giá thiết bị.

Ông Lý Đình Quân, Tổng giám đốc SHi (Trung tâm Ươm tạo khởi nghiệp Sông Hàn), nhận định dự án đáp ứng nhu cầu xã hội. Ông đề nghị kiểm chứng thêm độ chính xác của hệ thống, trải nghiệm sử dụng và mức chi trả từ phía các tổ chức.

Nhóm dự kiến giá thành dưới hoặc quanh 10 triệu đồng nếu thương mại hóa, đồng thời tìm hiểu mô hình thuê hằng tháng. Kế hoạch mở rộng tiếp cận còn gồm hợp tác cùng trường học, bệnh viện, đơn vị hành chính và trung tâm hỗ trợ người khuyết tật.

Xem thêm sản phẩm: Kính thông minh & thực tế ảo