Công ty khởi nghiệp của Pete Warden, Useful Sensors, đã phát động một chiến dịch gây quỹ cộng đồng mới cho hệ thống xử lý ngôn ngữ tự nhiên (NLP) tiên tiến của mình. Mô-đun "AI in a box - AI trong hộp" này, được hỗ trợ bởi máy tính bo mạch đơn Rockchip, được thiết kế để hoạt động hoàn toàn ở biên, hiểu ngôn ngữ tự nhiên, trả lời truy vấn và tạo văn bản mà không cần dựa vào tài nguyên bên ngoài.
Useful Sensors đã tận dụng các thành phần phần cứng sẵn có từ Rockchip để tạo ra mô-đun NLP độc đáo này. Hệ thống của họ chạy OpenAI's Whisper nhanh gấp đôi so với phiên bản tiên tiến trước đó, Faster-Whisper, nhờ vào một công cụ suy luận chuyên biệt.
Trái tim của mô-đun NLP "AI in a box" là con chip RK3588S SoC của Rockchip, với bốn lõi Arm Cortex-A76 mạnh mẽ và bốn lõi Arm Cortex-A55, cùng với bộ xử lý nơ-ron (NPU) được phát triển bởi Rockchip cung cấp công suất xử lý 6 TOPS (INT4). NPU này đóng vai trò quan trọng trong việc đạt được hiệu suất chuyển đổi giọng nói thành văn bản vượt trội so với các đối thủ trên cùng phần cứng.
Warden hình dung ra một loạt ứng dụng cho công nghệ này, như chú thích sự kiện trực tiếp và dịch thuật trực tiếp từ 15 ngôn ngữ lớn sang tiếng Anh, thể hiện tính linh hoạt của nó như một công cụ bàn phím giọng nói và phụ đề.
Chiến dịch gây quỹ cộng đồng, được tổ chức trên Crowdsupply, nhằm mục đích đưa hệ thống này đến tay cộng đồng nhà sản xuất, thúc đẩy sự đổi mới và sáng tạo. Warden coi đây là một nền tảng lý tưởng để các cá nhân xây dựng ứng dụng của riêng họ dựa trên khả năng chuyển giọng nói thành văn bản của nó.
Phiên bản gây quỹ cộng đồng của hệ thống sẽ được trang bị vỏ tùy chỉnh, giúp nó phù hợp với nhiều tình huống khác nhau. Cho dù nếu được đặt trên bàn nhà bếp để tạo phụ đề cho cuộc trò chuyện, hay được kết nối với đầu ra HDMI để tạo phụ đề cho sự kiện hay được sử dụng trong các cuộc họp để dịch theo thời gian thực, nó đều hứa hẹn mang đến sự linh hoạt.
Mục tiêu cuối cùng của Warden là thu nhỏ công nghệ này và làm cho nó có giá cả phải chăng, với mục tiêu từ hình thức và mức giá của một thiết bị nhỏ bé chỉ có giá 50 cents. Tầm nhìn này sẽ cho phép ứng dụng AI trở nên rộng rãi, cách mạng hóa cách chúng ta tương tác với công nghệ.
Trong lĩnh vực tăng tốc Whisper, Organic Transformers đã triển khai mã C++ tùy chỉnh, tích hợp liền mạch với thư viện nhân ma trận của Rockchip. Mặc dù các phần của ngăn xếp là nguồn mở, thư viện do Rockchip cung cấp vẫn là nguồn đóng nhưng có thể truy cập được. Useful Sensors có kế hoạch tối ưu hóa firmware hơn nữa để đảm bảo tốc độ và hiệu suất tối đa.
Hơn nữa, Useful Sensors đã hào phóng mở mã nguồn framework của mình, Useful Transformers, mặc dù hiện chỉ hỗ trợ các thiết bị Rockchip và Whisper. Tuy nhiên, công ty có kế hoạch mở rộng tính tương thích của nó để bao gồm các mô hình biến đổi khác và một loạt phần cứng rộng lớn hơn trong tương lai.
Ngoài ra, Useful Sensors đang tích cực phát triển các mô-đun cảm biến để bổ sung cho các triển khai mô hình độc quyền của mình. Ví dụ: cảm biến người là một bảng mạch nhỏ gọn có camera và bộ vi điều khiển hỗ trợ không dây Espressif Systems ESP32-S3. Một bo mạch khác, dựa trên bộ vi điều khiển Raspberry Pi RP2040 và được trang bị camera LG, được thiết kế để đọc mã QR.
Tóm lại, Useful Sensors luôn đi đầu trong đổi mới, mang đến cái nhìn thoáng qua về tương lai của AI ở vùng biên với mô-đun NLP "AI in a box". Công nghệ này có khả năng biến đổi cách chúng ta tương tác với AI, khiến nó trở nên dễ tiếp cận và linh hoạt hơn bao giờ hết.
