Kõnele

Multi-modal (speech, swipe, buttons) user interfaces for text input

Kõnele is an app that offers speech-to-text user interfaces to other apps. Many apps contain a text area or a text field (e.g. a message box or a search bar) that can be edited using the input method editor (IME), aka the on-screen keyboard. Kõnele provides an IME that is optimized for speech input. Modalities like swiping and buttons are also supported, for situations where speaking is less convenient. Many apps (e.g. intelligent assistants, navigation apps) also contain a microphone button that is linked to the standard Android speech recognition activity. Kõnele provides an implementation of this activity, and uses it itself as a launcher.

Kõnele can connect to any speech recognition service available on the device but by default uses, and is optimized for Kõnele service (https://github.com/Kaljurand/K6nele-service), a separate lightweight app whose backing server runs the kaldi-gstreamer-server (https://github.com/alumae/kaldi-gstreamer-server) software. The default server operates from Tallinn and provides Estonian speech recognition, but the software is easy to deploy elsewhere (e.g. a private network) and customize for other languages.

(Note that Kõnele also includes a simpler version of "Kõnele service" under the name "Kõnele (fast recognition)".)

- Website: http://kaljurand.github.io/K6nele/

- Release history: https://github.com/Kaljurand/K6nele/releases

- Testing version: https://play.google.com/apps/testing/ee.ioc.phon.android.speak

- Default recognizer service as a separate app: https://play.google.com/store/apps/details?id=ee.ioc.phon.android.k6neleservice

Kõnele on kõnetuvastusteenus Androidi rakendustele, mis võimaldab saata e-kirju, sooritada infootsingut, kirjutada märkmeid, anda käske jne kõne abil.

Paljudes Androidi rakendustes on tekstikastid, millele vajutades avaneb klaviatuurirakendus, nn sisestusmeetod, inglise keeles “input method editor (IME)”. Kõnele sisaldab endas sellist klaviatuurirakendust, kuid erinevalt traditsioonilisest tähtede ja numbritega klahvist on Kõnele klaviatuuril ainult üks nupp, mis võimaldab kõnesisendit. Selline klaviatuur võtab ekraanil vähem ruumi ja on sageli loomulikum ja kiirem kasutada. Lisaks nupule, mis käivitab/lõpetab/katkestab kõnetuvastuse, toetab Kõnele klaviatuur järgmisi operatsioone:

• svaip vasakule/paremale muudab kursori asukohta,

• svaipimine pärast pikka vajutust valib teksti,

• topeltvajutus lisab tühiku,

• lühike vajutus klaviatuuriikoonile lülitab eelmisele klaviatuurile,

• pikk vajutus klaviatuuriikoonile lülitab järgmisele klaviatuurile,

• vajutus otsinguikoonile käivitab otsingu (ainult otsingureal).

Paljudes Androidi rakendustes on ka väike mikrofonikujuline nupp, millele vajutades eeldab rakendus kasutajalt mõnesekundilist kõnejuppi, mis automaatselt tekstiks teisendatakse. Sellised rakendused on nt mikrofoninupuga klaviatuurirakendused ning otsinguribaga rakendused. See mikrofoninupp on tüüpiliselt seotud Androidi avatud kõnetuvastusliidesega, läbi mille on võimalik kasutada Kõnele poolt pakutud tuvastust.

Kui käivitada Kõnele otse, st mitte läbi teise rakenduse, siis suunatakse tuvastatud tekst edasi veebiotsingumootorile.

Kõnele kasutab kõne tekstiks teisendamiseks (ehk transkribeerimiseks) TTÜ Küberneetika Instituudi foneetika ja kõnetehnoloogia laboris (vt http://phon.ioc.ee) välja töötatud serveripõhist kõnetuvastustarkvara, mis on maailmas hetkel ainus, mis sisendina eesti keelt toetab.

Põhjalikum dokumentatsioon Kõnele seadistamise kohta on aadressil http://kaljurand.github.io/K6nele/docs/et/user_guide.html