Плагин Voice Control



  • еще заметил нюанс: когда в мобильном приложении нажимаем на микрофон, произносим фразу и разпознает действие то дальше она пилимкает и предлагает дальше говорить команды, даже если блокируеш телефон программа дальше пилимкает.



  • У меня ничего с приложением не получается. Говорю, а толку нет (не хватает обратной связи при неудаче)…в отладчике отображается только "undefined". При запуске плагина:

    09.09 17:16:50.878 IH: Run /var/lib/intrahouse-c/plugins/voicecontrol/index.js voicecontrol
    09.09 17:16:51.090 voicecontrol: Verbal Commander has started
    09.09 17:16:51.096 voicecontrol: Received PARAMS {"gendevcmd":true,"gengroupcmd":true,"debug":"on","loglevel":"2","lang":"ru"}
    09.09 17:16:51.099 voicecontrol: Загрузка сценариев: 0
    09.09 17:16:51.116 voicecontrol: Формировать команды управления устройствами - Да 
    09.09 17:16:51.117 voicecontrol: Формировать команды управления группами устройств - Да 
    09.09 17:16:51.436 voicecontrol: Уникальные команды: 246
    09.09 17:16:51.436 voicecontrol: Не уникальные (не включены в словарь): 14
    09.09 17:16:51.441 voicecontrol: [ { scen: 'LAMP4_03.off',
        dn: 'LAMP4_03',
        keywords: 'выключ свет крыльц крыльц',
        devname: 'свет крыльц',
        reply: 'Парадная зона Крыльцо. Свет у крыльца выключен',
        dupscen: 'LAMP4_02.off' },
      { scen: 'LAMP4_03.on',
        dn: 'LAMP4_03',
        keywords: 'включ свет крыльц крыльц',
        devname: 'свет крыльц',
        reply: 'Парадная зона Крыльцо. Свет у крыльца включен',
        dupscen: 'LAMP4_02.on' },
      { scen: 'LAMP2_08.off',
        dn: 'LAMP2_08',
        keywords: 'выключ свет коридор ',
        devname: 'свет коридор',
        reply: '2 этаж Коридор. Свет в коридоре выключен',
        dupscen: 'ALL.off' },
      { scen: 'LAMP2_08.on',
        dn: 'LAMP2_08',
        keywords: 'включ свет коридор ',
        devname: 'свет коридор',
        reply: '2 этаж Коридор. Свет в коридоре включен',
        dupscen: 'ALL.on' },
      { scen: 'LAMP1_06.off',
        dn: 'LAMP1_06',
        keywords: 'выключ свет санузл ',
        devname: 'свет санузл',
        reply: '1 этаж Санузел. Свет в санузле выключен',
        dupscen: 'ALL.off' },
      { scen: 'LAMP1_06.on',
        dn: 'LAMP1_06',
        keywords: 'включ свет санузл ',
        devname: 'свет санузл',
        reply: '1 этаж Санузел. Свет в санузле включен',
        dupscen: 'ALL.on' },
      { scen: 'LAMP0_01.off',
        dn: 'LAMP0_01',
        keywords: 'выключ свет погреб ',
        devname: 'свет погреб',
        reply: 'Погреб Погреб. Свет в погребе выключен',
        dupscen: 'ALL.off' },
      { scen: 'LAMP0_01.on',
        dn: 'LAMP0_01',
        keywords: 'включ свет погреб ',
        devname: 'свет погреб',
        reply: 'Погреб Погреб. Свет в погребе включен',
        dupscen: 'ALL.on' },
      { scen: 'ALL.off',
        filter: { room: '25', type: '510,520,530' },
        keywords: 'выключ свет чердак',
        reply: 'Чердак Чердак. Свет выключен',
        dupscen: 'ALL.off' },
      { scen: 'ALL.on',
        filter: { room: '25', type: '510,520,530' },
        keywords: 'включ свет чердак',
        reply: 'Чердак Чердак. Свет включен',
        dupscen: 'ALL.on' },
      { scen: 'ALL.off',
        filter: { room: '24', type: '510,520,530' },
        keywords: 'выключ свет погрб ',
        reply: 'Погреб Погреб. Свет выключен',
        dupscen: 'ALL.off' },
      { scen: 'ALL.on',
        filter: { room: '24', type: '510,520,530' },
        keywords: 'включ свет погрб ',
        reply: 'Погреб Погреб. Свет включен',
        dupscen: 'ALL.on' },
      { scen: 'ALL.off',
        filter: { room: '24', type: '510,520,530' },
        keywords: 'выключ свет погреб ',
        reply: 'Погреб Погреб. Свет выключен',
        dupscen: 'ALL.off' },
      { scen: 'ALL.on',
        filter: { room: '24', type: '510,520,530' },
        keywords: 'включ свет погреб ',
        reply: 'Погреб Погреб. Свет включен',
        dupscen: 'ALL.on' } ]
    09.09 17:16:51.452 IH: Received channels: 184
    
    

    PS: подключение через P2P.



  • Супер! А для Алисы навык пока не планируете?



  • @artem521:

    А подскажите пожалуйста, есть или будет возможность диммером управлять? Сегодня пробовал, непонимает 🙂 А так ребята очень круто! Чувствуется сразу что система сделала большой рывок вперед;)

    Да, будет. В следующем обновлении.
    @homa:

    А для Алисы навык пока не планируете?

    Пока не планировали.



  • Вышло обновление плагина.

    Новая версия плагина 1.0.1 позволяет формировать фразы не только для запуска сценариев.

    Можно сделать свои фразы для групповых команд и управления устройствами. Действия настраиваются по принципу действий Расписания.

    Для устройств наряду с on/off можно использовать команды toggle и set. Дополнительные команды set+ и set- позволяют создать фразы для увеличения/уменьшения яркости, громкости и т.д. Если вы уже добавляли сценарии в Расширениях, вам нужно выбрать для этих записей тип - Сценарий.
    sch1.jpg
    Автоматическое формирование команд также изменилось. Теперь плагин имеет параметры, где ограничить автоматическую генерацию команд выбранными подсистемами. Если подсистемы не выбраны, будут сформированы команды для всех актуаторов.

    Автоматически формируемые групповые команды имеют настройку по типам устройств. Также можно поменять ключевое слово
    sch2.jpg
    Все автоматически сформированные фразы, включая групповые, можно увидеть в каналах:
    sch3.jpg
    Для работы плагина требуется версия сервера не ниже 4.6.13



  • Коллеги! Как вообще понять - что где не работает? В отладчике при активации ничего не появляется, в мобильном приложении тоже никаких реакций нет. Связь с сервером по P2P есть, нажимаю кнопку, по всплывающему "Say command" - говорю и отпускаю кнопку, но ничего нигде не происходит.



  • @Alex_Jet:

    Коллеги! Как вообще понять - что где не работает? В отладчике при активации ничего не появляется, в мобильном приложении тоже никаких реакций нет. Связь с сервером по P2P есть, нажимаю кнопку, по всплывающему "Say command" - говорю и отпускаю кнопку, но ничего нигде не происходит.

    В настройках приложения переключитесь на русский язык и попробуйте еще раз.

    Сейчас у вас английский, судя по "Say command".



  • все работает, тестировал, можно ещо в груповой команде зделать выбор несколько зон, для примера чтобы можно было выключать свет в нескольких помещениях одновременно, понимаю что можно делать сценарий.

    Попробовал фразы включить цвет, выключить цвет. но удобней устанавливать переключатель, тойсть - 1 слово а это лучшая корректность работы.



  • @intrahouse:

    Вышло обновление плагина.

    Новая версия плагина 1.0.1 позволяет формировать фразы не только для запуска сценариев.

    Можно сделать свои фразы для групповых команд и управления устройствами. Действия настраиваются по принципу действий Расписания.

    Для устройств наряду с on/off можно использовать команды toggle и set. Дополнительные команды set+ и set- позволяют создать фразы для увеличения/уменьшения яркости, громкости и т.д. Если вы уже добавляли сценарии в Расширениях, вам нужно выбрать для этих записей тип -

    А вы не думали сделать разделение голосовой команды на "действие" и "объект", и дать пользователю настроить и действия и объекты.

    В "действиях" он сам привяжет команды "включить", "выключить", "переключить", "открыть", увеличить", "уменьшить" к командам IH.

    Чтобы в рамках одной команды голосовой команды можно было описать что по этой команде делать с каждым типом устройств в IH. Или с каждым

    А в "объектах" сделает или единичные объекты или их произвольные группы, и назовет их нужным именем.

    Команда будет "выбор действия" + "выбор объекта"



  • @intrahouse:

    @Alex_Jet:

    Коллеги! Как вообще понять - что где не работает? В отладчике при активации ничего не появляется, в мобильном приложении тоже никаких реакций нет. Связь с сервером по P2P есть, нажимаю кнопку, по всплывающему "Say command" - говорю и отпускаю кнопку, но ничего нигде не происходит.

    В настройках приложения переключитесь на русский язык и попробуйте еще раз.

    Сейчас у вас английский, судя по "Say command".

    Язык русский - все меню на русском. Попробовал переключиться на English, потом снова на Русский - нет контакта, подсказка имеет вид "Say command". Закрыл принудительно приложение, очистил кэш смартфона. Открыл приложение - все на русском, подсказка все также имеет вид "Say command", функционал не работает:(



  • Переустановить приложние пробовали?



  • @Alex_Jet:

    @intrahouse:

    @Alex_Jet:

    Коллеги! Как вообще понять - что где не работает? В отладчике при активации ничего не появляется, в мобильном приложении тоже никаких реакций нет. Связь с сервером по P2P есть, нажимаю кнопку, по всплывающему "Say command" - говорю и отпускаю кнопку, но ничего нигде не происходит.

    В настройках приложения переключитесь на русский язык и попробуйте еще раз.

    Сейчас у вас английский, судя по "Say command".

    Язык русский - все меню на русском. Попробовал переключиться на English, потом снова на Русский - нет контакта, подсказка имеет вид "Say command". Закрыл принудительно приложение, очистил кэш смартфона. Открыл приложение - все на русском, подсказка все также имеет вид "Say command", функционал не работает:(

    У меня такая же проблема. Я и телефон перезагружал и делал все выше Вами перечисленное. Не помогает. Самое странное что приложение начинает работать само по себе, сказанные голосом слова начинают писаться текстом, даже просто как приложение, без подключения к серверу.



  • @Erik:

    Переустановить приложние пробовали?

    Только что переустановил… никаких изменений.

    Вдобавок понял, что credentials для первого входа просто сбивают пользователя. Мне вот НЕ надо было попасть в demo и я тщетно в поле Host/IP пытался вбить ключ для подключения по P2P. Оказалось что все равно надо войти в demo, добавить свой сервер, удалить demo и тогда будет все ок. Надо бы пересмотреть это.



  • @Alex_Jet:

    … нажимаю кнопку, по всплывающему "Say command" - говорю и отпускаю кнопку, но ничего нигде не происходит.

    Хочу уточнить. Вы нажимаете и удерживаете кнопку микрофона?

    Или коротко нажимаете на микрофон и ничего не происходит?

    При коротком нажатии должно быть всплывающее окно с просьбой ввода голосовой команды:
    Screenshot_20190911-142754.jpg
    Оно есть? Теперь, если говорить, фразы в этом окне появляются?



  • @Alex_Jet:

    Вдобавок понял, что credentials для первого входа просто сбивают пользователя. Мне вот НЕ надо было попасть в demo и я тщетно в поле Host/IP пытался вбить ключ для подключения по P2P. Оказалось что все равно надо войти в demo, добавить свой сервер, удалить demo и тогда будет все ок. Надо бы пересмотреть это.

    Если запускать приложение в локальной сети, где есть сервер intraHouse, то приложение само найдет ваш сервер и настроит ключ P2P.

    От пользователя ничего (кроме ввода имени и пароля) не требуется.

    Естественно, если приложение не находит сервер, оно запускает демо. Чтобы новый пользователь хоть что-то мог попробовать.



  • @intrahouse:

    Естественно, если приложение не находит сервер, оно запускает демо. Чтобы новый пользователь хоть что-то мог попробовать.

    Чтобы настроить свой сервер, зачем то нужно подключиться к вашему демо.

    Можно сделать настройки приложения доступными без подключения к серверу?



  • @Erik:

    Чтобы настроить свой сервер, зачем то нужно подключиться к вашему демо.

    К нашему серверу подключение не происходит. Демо находится в самом приложении. Это сделано по требованию Apple Store.
    @Erik:

    Можно сделать настройки приложения доступными без подключения к серверу?

    А сейчас как? При первом входе есть приглашение на ввод адреса сервера, имени и пароля.

    Мы поняли, что желательно дать возможность ввести ключ P2P.

    Но если честно, не понимаю затруднений. Первый вход выполняется один раз.



  • @intrahouse:

    А сейчас как? При первом входе есть приглашение на ввод адреса сервера, имени и пароля.

    Мы поняли, что желательно дать возможность ввести ключ P2P.

    Но если честно, не понимаю затруднений. Первый вход выполняется один раз.

    Есть полные настройки сервера, которые становятся доступными только при подключении к чему нибудь, например к демо.

    Почему нельзя их сделать доступными сразу, без подключения к чему-то? Добавить сервер, и ввести все настройки, которые хочешь ввести, а не только IP и пароль.

    Еще было бы здорово предусмотреть вход в личный кабинет на https://ih-systems.com/ru/, чтобы оттуда стянуть ключ Р2Р.



  • @Erik:

    @intrahouse:

    А сейчас как? При первом входе есть приглашение на ввод адреса сервера, имени и пароля.

    Мы поняли, что желательно дать возможность ввести ключ P2P.

    Но если честно, не понимаю затруднений. Первый вход выполняется один раз.

    Есть полные настройки сервера, которые становятся доступными только при подключении к чему нибудь, например к демо.

    Почему нельзя их сделать доступными сразу, без подключения к чему-то? Добавить сервер, и ввести все настройки, которые хочешь ввести, а не только IP и пароль.

    Еще было бы здорово предусмотреть вход в личный кабинет на https://ih-systems.com/ru/, чтобы оттуда стянуть ключ Р2Р.

    Никаких лишних подключений не происходит. Если сервер IH не доступен, то приложение работает в режиме Демо, это общий подход. К сожалению, Сторы пока не обзавелись сервером IH :), и при модерации каждой версии вход в рабочий режим должен вызывать как можно меньше вопросов, иначе публикация сильно затягивается :(.

    С другой стороны, обладатели сервера IH, скачавшие приложение и запустившие его, находясь в одной сети со своим сервером, сразу подключаются к нему, вводить адрес не надо. Ключ P2P тоже вводить не надо, при удачном подключении он возьмется с сервера сам.

    Был вариант совсем не давать вводить ключ P2P, скрыть его и получать только автоматически.

    Но оставили для возможности, которую только что продемонстрировал уважаемый Alex_Jet - первый запуск вне своей сети, вводим ключ P2P - и все работает. Но это скорее фича, которая не должна быть прямо на входе



  • А можете сделать, чтобы окошко "произнесите команду" само закрывалось после первой успешно распознанной и выполненной команды?