SignMeet

Giới thiệu

Ứng dụng video call hỗ trợ dịch phụ đề đa ngôn ngữ và ngôn ngữ ký hiệu dành cho người khiếm thính và người có nhu cầu giao tiếp với người khiếm thính. Ứng dụng cung cấp các chức năng cơ bản như:

Giao diện

Trang chủ

Trang Workplace

Trang đặt lịch họp

Phòng họp

Thành phần cụ thể

Gọi video

Ứng dụng sử dụng giao thức WebRTC để truyền tải âm thanh và video giữa các người dùng với nhau

Nhắn tin

Dùng firebase database realtime để lưu trữ và chuyển tin nhắn

Speech-to-Text đa ngôn ngữ:

Điều khiển bằng giọng nói

TTích hợp WebNavigation vào SignMeet nhằm bổ sung khả năng điều hướng web bằng giọng nói và cử chỉ, tận dụng Whisper để nâng cao hiệu suất nhận diện giọng nói. Phần này tập trung chi tiết vào phương án tích hợp, bao gồm kiến trúc hệ thống và các bước triển khai

Công nghệ:

Firebase Golang NextJS Google Speech-To-Text Kafka Redis Pytorch ...

Run

cd /frontend
npm install
npm run dev

cd /backend
add API KEY to env file
node speechToText-v2/js/server.js