Thành công mới của AI: Chuyển lời nói sang ngôn ngữ ký hiệu

Một số hàng ngàn động tác mà SignGAN có thể thực hiện - Ảnh: Đại học Surrey

Sau hơn 3 năm nghiên cứu, tiến sĩ Ben Saunders cùng các cộng sự ở Đại học Surrey (Anh) vừa công bố phát triển thành công một mạng lưới thần kinh dựa vào trí tuệ nhân tạo (AI), đủ sức chuyển đổi lời nói thành ngôn ngữ ký hiệu.

Theo trang New Scientist, hệ thống có tên SignGAN, được nhóm nghiên cứu cho thu thập, học thuộc hàng chục ngàn câu nói và ngôn ngữ ký hiệu khác nhau.

Khi hoạt động, SignGAN ghi nhận và phân tích lời nói, sau đó chuyển thành các thông số. Dữ liệu được truyền vào khu xử lý gắn trong một mô hình phỏng theo cơ thể người, in bằng máy in 3D. Tín hiệu khi truyền đến mô hình sẽ yêu cầu nó thực hiện động tác ký hiệu đúng như ngôn ngữ nói.

Để giúp AI thành thục, nhóm cho AI xem và nghiên cứu nhiều video ngôn ngữ ký hiệu khác nhau. AI luyện tập tạo các video chuyển động của ký hiệu từ hình ảnh cho trước.

Cách tiếp cận này khác với trước đây, chỉ học trên hình ảnh đồ họa, các động tác vì thế không rõ ràng, làm người khuyết tật khó hiểu.

Tiến sĩ Ben Saunders cho biết hệ thống sử dụng tập dữ liệu gồm tám trình thông dịch ngôn ngữ ký hiệu, tạo sự vượt trội về các chỉ số định lượng và tiếp cận. Mô hình cũng có thể tạo ra các video ngôn ngữ ký hiệu liên tục trong thời gian thực.

Nhóm dùng thêm một công cụ giúp loại bớt những phần không cần thiết khi mô hình chuyển động, cải thiện chất lượng của hình ảnh tay, tránh tình trạng mờ do chuyển động nhanh.

Hiện nhóm đang tiếp tục nghiên cứu để các chuyển động ăn khớp lời nói với tốc độ giao tiếp thực tế.

Trước đó, năm 2019, nhóm nghiên cứu của Đại học Surrey cũng phát triển thành công phần mềm tương tác dựa trên công nghệ AI, dùng cho việc học ngôn ngữ ký hiệu.

Trường đại học 'có một không hai' dùng toàn ngôn ngữ ký hiệu

TTO - Trường đại học Gallaudet ở thủ đô Washington DC, Mỹ được xem là nơi có một không hai trên thế giới khi toàn bộ sinh viên, giảng viên đều dùng ngôn ngữ ký hiệu dành cho người khiếm thính.