AI-суфлёр для переговоров
Описание проекта и мой вклад
О продукте
Я создала приложение, которое помогает отвечать на вопросы во время онлайн-встреч и переговоров. Программа слушает разговор, распознаёт речь и предлагает содержательный ответ с учётом контекста беседы и загруженных документов. Подсказка появляется во время разговора, а окончательную формулировку выбирает человек.
Что умеет
- Распознаёт речь из микрофона и системного звука.
- Выделяет вопрос собеседника и находит подходящие фрагменты загруженного PDF.
- Формирует короткую подсказку для ответа с опорой на беседу и документ.
- Показывает ответ в отдельном окне с настройкой прозрачности и закрепления.
Как работает
Перед встречей пользователь загружает документ, например резюме. Во время разговора приложение распознаёт речь, выделяет вопрос и добавляет к контексту подходящие сведения из PDF. На этой основе AI предлагает ответ, который можно быстро прочитать и сформулировать своими словами.
Моя роль
Я адаптировала Ecoute под собственные задачи и разрабатывала приложение с помощью AI-инструментов. За основу взяла его компоненты захвата звука и транскрипции.
Мои доработки: логика обработки диалога и выделения вопроса, работа с документами, формирование подсказок и их подача в интерфейсе. Я настраивала контекст и промпты, перерабатывала внешний вид и компоновку интерфейса, прозрачность и закрепление окна. Проверяла, удобно ли пользоваться подсказками параллельно с программой для звонков. Тестировала обработку аудио и ответы, диагностировала ошибки, исправляла их с помощью AI-инструментов и повторяла проверки.
Результат
Создано и протестировано приложение, которое помогает перейти от распознанного вопроса к содержательному ответу. Документ становится опорой для подсказки прямо во время встречи: нужные сведения не приходится искать вручную посреди разговора.
Технические детали
Инструменты: Python, Windows, CustomTkinter, Whisper / faster-whisper, PyPDF2, GPT-4o-mini.
Python связывает захват звука, распознавание речи и подготовку ответа. Whisper / faster-whisper превращает аудио в текст, PyPDF2 извлекает материал из PDF. Фрагменты документа подбираются по словам: для такого сценария не потребовалась отдельная векторная база. GPT-4o-mini формирует ответ с учётом вопроса, контекста и общих знаний модели. Отдельный веб-поиск здесь не используется.
CustomTkinter отвечает за интерфейс и настройки окна, позволяющие читать подсказку во время звонка. Исходная основа захвата звука и транскрипции взята из Ecoute под лицензией MIT; работа с вопросами, документами и интерфейсом доработана для моего приложения. Лицензионные сведения сохранены в исходном проекте.