✔Представлено веб-приложение NotesGPT для перевода голоса в текст - «Новости мира Интернет»

В сети появился бесплатный сервис NotesGPT на основе нейросетей, с помощью которого можно переводить голосовые заметки в текст. Плюсом является поддержка русского языка, доступ к нему можно получить через сайт, причем как с компьютера, так и смартфона.

Веб-приложение написано на TypeScript, в качестве модели машинного обучения –Mixtral, которая развернута на мощностях сервиса Together AI. Распознавание голоса обеспечивает нейросеть Whisper, выпущенная на Replicate. Дополнительно разработчики внедрили Convex и Clerk.

Для авторизации в сервисе можно использовать привязку к учетной записи Google или же электронную почту. После регистрации можно сразу начинать запись и переводить аудио в текст. Мы протестировали сервис: качество расшифровки при отсутствии помех в записи достаточно высокое, однако не все слова сервис успешно распознает. Отметим, что пока разработчики не реализовали возможность загружать существующие голосовые записи и проводить транскрибацию.

С помощью NotesGPT можно записывать аудио, сохранять их, а также переводить в текстовый формат по запросу. Функция Summary позволяет преобразовать речь в краткий связный пересказ, а в блоке Action Items будут отражены пункты действий – можно отметить их выполнение галочками или добавить дополнительные. Вот как выглядит условный тренировочный план:

Создатели планируют использовать более быструю версию Whisper, а также реализовать функцию приостановки записи с дальнейшим ее продолжением по запросу. В планы также включены создание мобильного приложения и интеграция с Notion для сохранения переведенных в текст записей в виде документа.

На Хабре пишут, что код проекта представлен в открытом доступе и опубликован на GitHub, при желании сторонние разработчики могут присоединиться к нему. В репозитории есть инструкция по развертыванию NotesGPT на собственном сервисе.

Изображение на обложке: github.com