Плагин Voice Control

[IntraVM]

Опубликован плагин Voice Control

Для работы плагина необходимо обновить систему до версии не ниже 4.6.12

Плагин позволяет голосом управлять устройствами и сценариями из мобильного приложения.

Подробнее в описании плагина https://ih-systems.com/ru/product/plugin-voice-control/

[amgstone]

@amgstone:

проблемы

1. автоматическое формирование фраз сокращает слова.

2. не поддерживает украинского языка в приложении андроид.

3. нету возможности добавить свои фразы.

4. добавить возможность скрывать id устройства в списке устройств в мобильном приложении.

[IntraVM]

@amgstone:

1. автоматическое формирование фраз сокращает слова.

Все правильно. Система обрабатывает ключевые слова. Поэтому нет необходимости в фиксированном формате фразы.

Можно, например, говорить "включи свет на кухне" или "кухня включить свет". В результате свет на кухне будет включен.

Распознавание текстов реализовано несколько умнее, чем просто распознавание слов в фразе

Подробнее по механизму распознавания текстовых команд читайте https://ih-systems.com/ru/product/plugin-voice-control/
@amgstone:

2. не поддерживает украинского языка в приложении андроид.

Пока это так. Добавим.
@amgstone:

3. нету возможности добавить свои фразы.

Можно добавить любые фразы и запускать по ним любые сценарии.
@amgstone:

4. добавить возможность скрывать id устройства в списке устройств в мобильном приложении.

Эту уже есть. Мобильное приложение/Настройки/Дисплей/Показывать идентификатор

[Erik]

@intrahouse:

Все правильно. Система обрабатывает ключевые слова. Поэтому нет необходимости в фиксированном формате фразы.

Можно, например, говорить "включи свет на кухне" или "кухня включить свет". В результате свет на кухне будет включен.

Распознавание текстов реализовано несколько умнее, чем просто распознавание слов в фразе

Подробнее по механизму распознавания текстовых команд читайте https://ih-systems.com/ru/product/plugin-voice-control/

Подробнее расскажите, пожалуйста.

Что должно быть в названиях устройств.

Лампа должна быть названа "лампа на кухне", или просто "лампа", а добавка "на кухне" во фразе определит ее местонахождение?

Должно быть в системе много устройств с одинаковым названием "лампа", и голосовой командой "включи лампу в ххх" будет выбираться нужная из них?

ПОэксперементировал. Круто. У меня в команды попало все, включая название объекта.

Включи свет в бане в комнате - работает. Включи свет в комнате - не работает, хотя больше пока другого "света в комнате" в систему не заведено.

Больше всего нравится своя фраза для сценария. Сделал мультисценарий toggle на все, что можно toggle. Сижу, развлекаюсь. А домашние надо мной хихикают.

[amgstone]

В сценариях (расширениях) прописываю свою фразу и все работает, в списке каналов нету возможности в ручную прописать фразу.

В списке каналов перетаскиваю столбец фраза в начало, опять захожу и столбец появляется в предыдущем месте а не там где я его перетащил.

[intrapro]

@Erik:

Подробнее расскажите, пожалуйста.

Что должно быть в названиях устройств.

Лампа должна быть названа "лампа на кухне", или просто "лампа", а добавка "на кухне" во фразе определит ее местонахождение?

Должно быть в системе много устройств с одинаковым названием "лампа", и голосовой командой "включи лампу в ххх" будет выбираться нужная из них?

Нет, в название устройства помещение включать не нужно.

Автоматическое формирование фраз работает так:

• Если название устройства уникально (например, у вас одна Люстра в проекте), то ключевым набором будет просто "включи люстру"

• Если название устройства не уникально (все названы "лампа"), то в ключевой набор добавляется помещение или уровень: "включи лампу в гостиной", "включи лампу на кухне"

• Если название устройства дублируется внутри помещения - например, несколько "ламп" в одной комнате, то такие команды плагин не формирует, показывает их в отладчике на старте плагина как дублирование команд с указанием, какие произошли наложения. Если не хочется фантазировать, можно их назвать "лампа 1","лампа 2",…и говорить "включи первую лампу на кухне", "включи вторую лампу на кухне"

Если есть одинаковые названия помещений на разных уровнях, то в набор включается и помещение, и уровень: "включи лампу в спальне на первом этаже"

Но всегда можно указывать полный "путь", хуже не будет .

@Erik:

ПОэксперементировал. Круто. У меня в команды попало все, включая название объекта.

Включи свет в бане в комнате - работает. Включи свет в комнате - не работает, хотя больше пока другого "света в комнате" в систему не заведено.

Слово "свет" сейчас зарезервирован для групповых команд "Включить/выключить освещение" в конкретном помещении или уровне:

включи свет на кухне — будет включен весь свет в помещении Кухня (устройства с типом Светильник, Диммер, RGB)

выключи свет в цоколе —будет выключен весь свет уровня Цоколь

Если у вас нет помещения с названием Комната, то "Включи свет в комнате" работать не будет. А баня видимо есть

@Erik:

Больше всего нравится своя фраза для сценария. Сделал мультисценарий toggle на все, что можно toggle. Сижу, развлекаюсь. А домашние надо мной хихикают.

Специально для наших креативных пользователей сейчас расширяем возможности настройки фраз.

Подход будет как в расписании - можно настроить свои фразы не только для сценариев, но и на включение устройств + групповые команды.

А для автоматического формирования можно будет выбрать только некоторые подсистемы (Свет, но не Безопасность, например)

Также планируется доработать мобильное, чтобы был виден диалог. Сейчас процедуру распознавания можно наблюдать в отладчике.

[artem521]

А подскажите пожалуйста, есть или будет возможность диммером управлять? Сегодня пробовал, непонимает А так ребята очень круто! Чувствуется сразу что система сделала большой рывок вперед;)

[Erik]

@intrapro:

Нет, в название устройства помещение включать не нужно.

Автоматическое формирование фраз работает так:

• Если название устройства уникально (например, у вас одна Люстра в проекте), то ключевым набором будет просто "включи люстру"

• Если название устройства не уникально (все названы "лампа"), то в ключевой набор добавляется помещение или уровень: "включи лампу в гостиной", "включи лампу на кухне"

• Если название устройства дублируется внутри помещения - например, несколько "ламп" в одной комнате, то такие команды плагин не формирует, показывает их в отладчике на старте плагина как дублирование команд с указанием, какие произошли наложения. Если не хочется фантазировать, можно их назвать "лампа 1","лампа 2",…и говорить "включи первую лампу на кухне", "включи вторую лампу на кухне"

Если есть одинаковые названия помещений на разных уровнях, то в набор включается и помещение, и уровень: "включи лампу в спальне на первом этаже"

Но всегда можно указывать полный "путь", хуже не будет .

У меня в 1 проекте 2 объекта - баня и дом.

Но в структуре проекта "объекты" не используются. Уровни и зоны не привязаны к объектам. Устройства тоже. Поэтому в название уровня приходится включать название объекта. Иначе путаница.

@intrapro:

Слово "свет" сейчас зарезервирован для групповых команд "Включить/выключить освещение" в конкретном помещении или уровне:

включи свет на кухне — будет включен весь свет в помещении Кухня (устройства с типом Светильник, Диммер, RGB)

выключи свет в цоколе —будет выключен весь свет уровня Цоколь

Если у вас нет помещения с названием Комната, то "Включи свет в комнате" работать не будет. А баня видимо есть

Пока не сработало таким образом. Есть и на кухне и в комнате верхний свет и по нескольку светильников, включить все одной "зарезервированной" командой не получилось.

Может быть потому, что устройства названы "верхний свет", "средний свет", и т.д. ?

@intrapro:

Специально для наших креативных пользователей сейчас расширяем возможности настройки фраз.

Подход будет как в расписании - можно настроить свои фразы не только для сценариев, но и на включение устройств + групповые команды.

А для автоматического формирования можно будет выбрать только некоторые подсистемы (Свет, но не Безопасность, например)

Также планируется доработать мобильное, чтобы был виден диалог. Сейчас процедуру распознавания можно наблюдать в отладчике.

В мобильном не очень комфортно пока. Наживаешь микрофон - запускается бесконечный процесс с громким пиканьем.

Получается, что нужно нажать микрофон, сказать команду, еще раз куда нибудь нажать, чтобы это прекратилось.

Для нажатия в интерфейсе на светильник нужно столько же действий. В чем преимущество?

[amgstone]

еще заметил нюанс: когда в мобильном приложении нажимаем на микрофон, произносим фразу и разпознает действие то дальше она пилимкает и предлагает дальше говорить команды, даже если блокируеш телефон программа дальше пилимкает.

[Alex_Jet]

У меня ничего с приложением не получается. Говорю, а толку нет (не хватает обратной связи при неудаче)…в отладчике отображается только "undefined". При запуске плагина:

09.09 17:16:50.878 IH: Run /var/lib/intrahouse-c/plugins/voicecontrol/index.js voicecontrol
09.09 17:16:51.090 voicecontrol: Verbal Commander has started
09.09 17:16:51.096 voicecontrol: Received PARAMS {"gendevcmd":true,"gengroupcmd":true,"debug":"on","loglevel":"2","lang":"ru"}
09.09 17:16:51.099 voicecontrol: Загрузка сценариев: 0
09.09 17:16:51.116 voicecontrol: Формировать команды управления устройствами - Да 
09.09 17:16:51.117 voicecontrol: Формировать команды управления группами устройств - Да 
09.09 17:16:51.436 voicecontrol: Уникальные команды: 246
09.09 17:16:51.436 voicecontrol: Не уникальные (не включены в словарь): 14
09.09 17:16:51.441 voicecontrol: [ { scen: 'LAMP4_03.off',
    dn: 'LAMP4_03',
    keywords: 'выключ свет крыльц крыльц',
    devname: 'свет крыльц',
    reply: 'Парадная зона Крыльцо. Свет у крыльца выключен',
    dupscen: 'LAMP4_02.off' },
  { scen: 'LAMP4_03.on',
    dn: 'LAMP4_03',
    keywords: 'включ свет крыльц крыльц',
    devname: 'свет крыльц',
    reply: 'Парадная зона Крыльцо. Свет у крыльца включен',
    dupscen: 'LAMP4_02.on' },
  { scen: 'LAMP2_08.off',
    dn: 'LAMP2_08',
    keywords: 'выключ свет коридор ',
    devname: 'свет коридор',
    reply: '2 этаж Коридор. Свет в коридоре выключен',
    dupscen: 'ALL.off' },
  { scen: 'LAMP2_08.on',
    dn: 'LAMP2_08',
    keywords: 'включ свет коридор ',
    devname: 'свет коридор',
    reply: '2 этаж Коридор. Свет в коридоре включен',
    dupscen: 'ALL.on' },
  { scen: 'LAMP1_06.off',
    dn: 'LAMP1_06',
    keywords: 'выключ свет санузл ',
    devname: 'свет санузл',
    reply: '1 этаж Санузел. Свет в санузле выключен',
    dupscen: 'ALL.off' },
  { scen: 'LAMP1_06.on',
    dn: 'LAMP1_06',
    keywords: 'включ свет санузл ',
    devname: 'свет санузл',
    reply: '1 этаж Санузел. Свет в санузле включен',
    dupscen: 'ALL.on' },
  { scen: 'LAMP0_01.off',
    dn: 'LAMP0_01',
    keywords: 'выключ свет погреб ',
    devname: 'свет погреб',
    reply: 'Погреб Погреб. Свет в погребе выключен',
    dupscen: 'ALL.off' },
  { scen: 'LAMP0_01.on',
    dn: 'LAMP0_01',
    keywords: 'включ свет погреб ',
    devname: 'свет погреб',
    reply: 'Погреб Погреб. Свет в погребе включен',
    dupscen: 'ALL.on' },
  { scen: 'ALL.off',
    filter: { room: '25', type: '510,520,530' },
    keywords: 'выключ свет чердак',
    reply: 'Чердак Чердак. Свет выключен',
    dupscen: 'ALL.off' },
  { scen: 'ALL.on',
    filter: { room: '25', type: '510,520,530' },
    keywords: 'включ свет чердак',
    reply: 'Чердак Чердак. Свет включен',
    dupscen: 'ALL.on' },
  { scen: 'ALL.off',
    filter: { room: '24', type: '510,520,530' },
    keywords: 'выключ свет погрб ',
    reply: 'Погреб Погреб. Свет выключен',
    dupscen: 'ALL.off' },
  { scen: 'ALL.on',
    filter: { room: '24', type: '510,520,530' },
    keywords: 'включ свет погрб ',
    reply: 'Погреб Погреб. Свет включен',
    dupscen: 'ALL.on' },
  { scen: 'ALL.off',
    filter: { room: '24', type: '510,520,530' },
    keywords: 'выключ свет погреб ',
    reply: 'Погреб Погреб. Свет выключен',
    dupscen: 'ALL.off' },
  { scen: 'ALL.on',
    filter: { room: '24', type: '510,520,530' },
    keywords: 'включ свет погреб ',
    reply: 'Погреб Погреб. Свет включен',
    dupscen: 'ALL.on' } ]
09.09 17:16:51.452 IH: Received channels: 184

PS: подключение через P2P.

[homa]

Супер! А для Алисы навык пока не планируете?

[IntraVM]

@artem521:

А подскажите пожалуйста, есть или будет возможность диммером управлять? Сегодня пробовал, непонимает А так ребята очень круто! Чувствуется сразу что система сделала большой рывок вперед;)

Да, будет. В следующем обновлении.
@homa:

А для Алисы навык пока не планируете?

Пока не планировали.

[IntraVM]

Вышло обновление плагина.

Новая версия плагина 1.0.1 позволяет формировать фразы не только для запуска сценариев.

Можно сделать свои фразы для групповых команд и управления устройствами. Действия настраиваются по принципу действий Расписания.

Для устройств наряду с on/off можно использовать команды toggle и set. Дополнительные команды set+ и set- позволяют создать фразы для увеличения/уменьшения яркости, громкости и т.д. Если вы уже добавляли сценарии в Расширениях, вам нужно выбрать для этих записей тип - Сценарий.

Автоматическое формирование команд также изменилось. Теперь плагин имеет параметры, где ограничить автоматическую генерацию команд выбранными подсистемами. Если подсистемы не выбраны, будут сформированы команды для всех актуаторов.

Автоматически формируемые групповые команды имеют настройку по типам устройств. Также можно поменять ключевое слово

Все автоматически сформированные фразы, включая групповые, можно увидеть в каналах:

Для работы плагина требуется версия сервера не ниже 4.6.13

[Alex_Jet]

Коллеги! Как вообще понять - что где не работает? В отладчике при активации ничего не появляется, в мобильном приложении тоже никаких реакций нет. Связь с сервером по P2P есть, нажимаю кнопку, по всплывающему "Say command" - говорю и отпускаю кнопку, но ничего нигде не происходит.

[IntraVM]

@Alex_Jet:

Коллеги! Как вообще понять - что где не работает? В отладчике при активации ничего не появляется, в мобильном приложении тоже никаких реакций нет. Связь с сервером по P2P есть, нажимаю кнопку, по всплывающему "Say command" - говорю и отпускаю кнопку, но ничего нигде не происходит.

В настройках приложения переключитесь на русский язык и попробуйте еще раз.

Сейчас у вас английский, судя по "Say command".

[amgstone]

все работает, тестировал, можно ещо в груповой команде зделать выбор несколько зон, для примера чтобы можно было выключать свет в нескольких помещениях одновременно, понимаю что можно делать сценарий.

Попробовал фразы включить цвет, выключить цвет. но удобней устанавливать переключатель, тойсть - 1 слово а это лучшая корректность работы.

[Erik]

@intrahouse:

Вышло обновление плагина.

Новая версия плагина 1.0.1 позволяет формировать фразы не только для запуска сценариев.

Можно сделать свои фразы для групповых команд и управления устройствами. Действия настраиваются по принципу действий Расписания.

Для устройств наряду с on/off можно использовать команды toggle и set. Дополнительные команды set+ и set- позволяют создать фразы для увеличения/уменьшения яркости, громкости и т.д. Если вы уже добавляли сценарии в Расширениях, вам нужно выбрать для этих записей тип -

А вы не думали сделать разделение голосовой команды на "действие" и "объект", и дать пользователю настроить и действия и объекты.

В "действиях" он сам привяжет команды "включить", "выключить", "переключить", "открыть", увеличить", "уменьшить" к командам IH.

Чтобы в рамках одной команды голосовой команды можно было описать что по этой команде делать с каждым типом устройств в IH. Или с каждым

А в "объектах" сделает или единичные объекты или их произвольные группы, и назовет их нужным именем.

Команда будет "выбор действия" + "выбор объекта"

[Alex_Jet]

@intrahouse:

@Alex_Jet:

Коллеги! Как вообще понять - что где не работает? В отладчике при активации ничего не появляется, в мобильном приложении тоже никаких реакций нет. Связь с сервером по P2P есть, нажимаю кнопку, по всплывающему "Say command" - говорю и отпускаю кнопку, но ничего нигде не происходит.

В настройках приложения переключитесь на русский язык и попробуйте еще раз.

Сейчас у вас английский, судя по "Say command".

Язык русский - все меню на русском. Попробовал переключиться на English, потом снова на Русский - нет контакта, подсказка имеет вид "Say command". Закрыл принудительно приложение, очистил кэш смартфона. Открыл приложение - все на русском, подсказка все также имеет вид "Say command", функционал не работает:(

[Erik]

Переустановить приложние пробовали?

[artem521]

@Alex_Jet:

@intrahouse:

@Alex_Jet:

Коллеги! Как вообще понять - что где не работает? В отладчике при активации ничего не появляется, в мобильном приложении тоже никаких реакций нет. Связь с сервером по P2P есть, нажимаю кнопку, по всплывающему "Say command" - говорю и отпускаю кнопку, но ничего нигде не происходит.

В настройках приложения переключитесь на русский язык и попробуйте еще раз.

Сейчас у вас английский, судя по "Say command".

Язык русский - все меню на русском. Попробовал переключиться на English, потом снова на Русский - нет контакта, подсказка имеет вид "Say command". Закрыл принудительно приложение, очистил кэш смартфона. Открыл приложение - все на русском, подсказка все также имеет вид "Say command", функционал не работает:(

У меня такая же проблема. Я и телефон перезагружал и делал все выше Вами перечисленное. Не помогает. Самое странное что приложение начинает работать само по себе, сказанные голосом слова начинают писаться текстом, даже просто как приложение, без подключения к серверу.

[Alex_Jet]

@Erik:

Переустановить приложние пробовали?

Только что переустановил… никаких изменений.

Вдобавок понял, что credentials для первого входа просто сбивают пользователя. Мне вот НЕ надо было попасть в demo и я тщетно в поле Host/IP пытался вбить ключ для подключения по P2P. Оказалось что все равно надо войти в demo, добавить свой сервер, удалить demo и тогда будет все ок. Надо бы пересмотреть это.