Có nên tự chạy whisper.cpp thay vì dùng ứng dụng?

Phần lớn các trang so sánh trên internet tồn tại để giải thích vì sao lựa chọn kia tệ hơn. Trang này thì không thể, vì lựa chọn kia chính là thứ mà ứng dụng của chúng tôi được xây dựng trên đó.

whisper.cpp là bản triển khai bằng C/C++ của Georgi Gerganov cho Whisper của OpenAI. Nó dùng giấy phép MIT, miễn phí, đang được phát triển tích cực, và rất tốt. Offline Transcription dùng nó làm động cơ. Khi nó có thêm tính năng phát hiện hoạt động giọng nói tích hợp sẵn, ứng dụng của chúng tôi cũng có theo, vì đó là cùng một mã nguồn.

Vậy câu hỏi thẳng thắn không phải là "cái nào tốt hơn". Mà là "bạn có muốn tự lắp ráp mọi thứ hay không".

Tự chạy nếu… #

Bạn thoải mái với terminal. Toàn bộ chỉ là ./build/bin/whisper-cli -m model.bin -f audio.wav. Nếu câu đó chẳng có gì lạ với bạn, bạn chỉ cách một bản chép lời mười phút và bạn không nên trả tiền cho ai vì việc này.

Bạn muốn viết script cho nó. Theo dõi thư mục, cron job, chuyển bản chép lời sang các công cụ khác, chép lời trên máy chủ — đây là chỗ một CLI không chỉ rẻ hơn mà thật sự tốt hơn. Không giao diện đồ họa nào cạnh tranh được với một vòng lặp shell về mặt tự động hóa.

Bạn muốn mọi nút chỉnh. Beam size, temperature fallback, prompt tùy chỉnh, mô hình thay thế, những kiểu lượng tử hóa hoàn toàn khác. Chúng tôi đưa ra những cài đặt mà chúng tôi nghĩ phần lớn mọi người cần; whisper.cpp đưa ra tất cả.

Ngân sách của bạn bằng không. Hoàn toàn chính đáng. Đây là phần mềm miễn phí và nó hoạt động tốt.

Dùng ứng dụng nếu… #

Bạn không muốn tự build gì cả. Để có đường chạy nhanh trên Apple silicon, bạn phải biên dịch với đúng các cờ và chuyển đổi bộ mã hóa sang Core ML bằng công cụ Python. Việc này có tài liệu và không khó, nhưng vẫn mất một buổi chiều cho lần đầu và phải chạy lại mỗi lần bạn cập nhật. Chúng tôi làm việc đó một lần và phát hành kết quả.

Bạn muốn dùng nó trên điện thoại. Trong kho mã có một dự án iOS mẫu, và việc build, ký và cài nó lên thiết bị của chính bạn là một công việc Xcode thực thụ, sẽ hết hạn theo provisioning profile trừ khi bạn có tài khoản nhà phát triển. Một ứng dụng universal từ App Store là chuyện hoàn toàn khác.

Công sức nằm ở việc xem lại, không phải việc chép lời. Đây là cốt lõi thật sự của vấn đề. Lấy văn bản ra từ âm thanh chỉ là một lệnh. Tìm đoạn bạn cần, đối chiếu một cái tên với âm thanh, sửa nó, rồi xuất phụ đề mới là chỗ thời gian thật sự bị tiêu tốn — còn một CLI thì đưa bạn một tệp văn bản và chúc bạn may mắn. Một trình duyệt đoạn mà bạn nhấp vào một dòng và nghe đúng dòng đó là thứ terminal không làm được.

Người khác cũng cần dùng nó. Đồng nghiệp, một nhóm nghiên cứu, một biên tập viên. "Cài Xcode command line tools rồi chạy make" không phải là quy trình bạn có thể giao cho người khác.

Thứ bạn thật sự trả tiền #

Không phải mô hình — thứ đó miễn phí và công khai. Không phải động cơ — thứ đó dùng giấy phép MIT và công khai.

Bạn trả tiền cho phần đóng gói: một bộ mã hóa Core ML đã được biên dịch và phát hành sẵn, một mô hình đã lượng tử hóa được đóng gói ở kích thước vừa với điện thoại, một hàng đợi, bộ chọn ngôn ngữ cho từng tệp, một trình duyệt đoạn có phát lại âm thanh, bảy định dạng xuất, và cách xử lý tệp dài giữ mức dùng bộ nhớ ổn định để một bản ghi hai tiếng không khiến tiến trình của bạn bị tắt trên iPhone.

Đó là một khối lượng công việc thực sự, và việc bạn quyết định tự làm miễn phí cũng hoàn toàn hợp lý.

Một điều đáng nói về mã nguồn mở #

Vì ứng dụng của chúng tôi phụ thuộc vào nó: nếu whisper.cpp hữu ích với bạn, dù qua ứng dụng của chúng tôi hay dùng trực tiếp, thì rất đáng để gắn sao cho kho mã và đọc các issue. Lý do chép lời ngay trên máy trở nên tốt trên phần cứng phổ thông trong vài năm qua phần lớn là nhờ dự án đó và thư viện ggml bên dưới nó.

Chúng tôi theo dõi nó sát sao — bài viết của chúng tôi về cách chép lời ngay trên máy hoạt động về cơ bản là mô tả những gì whisper.cpp làm, vì đó chính là thứ đang chạy.