четвер, 3 квітня 2025 р.

Голосовий зв'язок через Lora та TTS синтез з текстових повідомлень

Нагадаю, особливість термiналу TDECK в тому, що в ньому вже є мікрофони MEMS і ЦАП I2S з вбудованим ПНЧ і динаміком на борту. Синтез голосу з тексту, що надходить через Lora, відбувається безпосередньо в TDECK без використання смартфона та Інтернету засобами спецпрошивки. Тобто офлайн. Також, окрім автономного синтезатора голосу, є можливість синтезувати аудіо з тексту за допомогою інтернет-сервісу Google Speech API, де якість синтезу значно вища. Користувач сам обирає - автономний синтез голосу або зовнішній сервіс через WiFi...

  1. Графiчне субменю MainBand тепер Hardware й розширено user-налаштуваннями MSG audio = SPIFFS/SD, MSG video = SPIFFS/SD, MSG audio TX = OFF/ON, MSG video TX = OFF/ON, CODEC2 = RT700C/RT450/1600/3200/RT1600/RT3200
  2. Субменю Read MSG audio дозволяє записувати та прослуховувати прийняті з Lora етеру AudioMSG в AES256, власні диктофонні повідомлення, передавати ці архівні голосові в Lora етер за вибором. Кiлькiсть голосових обмежена лише пам'яттю. Режим голосових PTT через Lora арбайтен в штатному режимi
  3. Додано субменю відеоплеєр Read MSG video для перегляду відео у форматі MJPEG на TFT екранах. Також відеоплеєр доступний для контролю в консольному режимі з можливістю завдання аудіодоріжки з окремого файлу WAV/MP3/OGG
  4. Додано експериментальний режим передачі та прийому відео по Lora. Для роботи з вiдеофайлами цей режим є сумнiвний, а для стрiмiнгу потрiбен якийсь CAM.JPEG модуль з мiнiмальними габаритами для вбудовування в TDeck кейс

    

    

Аудiорежим на спектроаналiзаторi:

    

Прийом-передача вiдео over Lora

Взагалi-то, все вiдносно й нiякого реалтайму звiсно, все з затримкою у часi.  Передача архівних вiдео- та аудіоповідомлень з диктофона та прийнятих over Lora:

    

Для потоку з кадром 320х240 пкс в реалтайм треба значно розширити спектр та роздiлити сам стрiм мiж декiлькома Lora-модулями для роботи в декiлькох паралельних радiо-каналах. Такi рiшення є.

Постскриптум

Шановні читачі, якщо мої дописи вас зацікавили – пiдтримайте збiр або ставайте спонсорами Youtube-каналу LaboratoryW з ексклюзивними лайфхаками

Кориснi ресурси
  1. MiniFAQ по Lora
  2. Як працювати Lora та аматорському трансиверу на одну антену
  3. LoraBOT та приймач на одну антену
  4. Простий мiжбендовий Lora-шлюз на UART модулях без окремого контролера
  5. Крос-бенд Lora мереж та ПАПУГА
  6. Взаємозв'язок між розширенням спектру, чутливiстю та швидкiстю обмiну в текстових та голосових режимах over Lora
  7. LR-FHSS. Як працює ППРЧ в Lora
  8. Завади для керування БПЛА. На сьогодні існує кілька видів атак на Lora
  9. Зменьшення нестабільностi TCXO в LoRa-модулях
  10. Як прошити LoraSAT або Meshtastic в польових умовах з смартфону
  11. Lora на ручній тязі... поки крутиш - в космочаті
  12. Керування Starlink-приводом з антеною через Lora
  13. Мережевi iгри over Lora
  14. Стероїд-мод. Як додати шоколадку до Lora-модуля або потужний Lora-модем
  15. Робота Lora-модуля SX1262 за паспортними межами
  16. Чи можна працювати в Lora із супутниками на низьких орбітах? Можна й ось чому...