机器学习帮助掌握虚拟键盘

虚拟键击键云。

韩国工程师开发并测试了用于触摸屏的假想键盘的有效性 – 参与该研究的用户没有受到任何使用键盘的限制，并且使用QWERTY布局中的假想键将他们的手放在触摸面板上的任何位置。在隐形键盘上输入的文本的识别准确度超过95％，打字速度超过每分钟45个字。

许多现代设备缺少硬件键盘 – 在绝大多数情况下，平板电脑，智能手机和终端都使用触摸屏。然而，这种方法通常会导致打字速度降低 – 当使用硬件键盘时，一个人会感觉到击键，因此他可以使用盲法快速打字。屏幕上的键盘不能给出这样的反馈（最大的振动是指示按压的登记），因此，用户大大降低了打字速度并减少了用于打印的手指的数量。作为逐个字符输入的替代方案，提供了各种手势输入方法（例如，Swype），但是，它们也会出错，包括因为它们严重依赖于对打字文本的预测。此外，这并没有解决盲目打字的问题 – 用户仍然需要看键盘。

韩国高等技术研究院（KAIST）的Ue-Hwan Kim及其同事建议在触摸表面上使用假想的隐形键盘进行触摸打字，而不仅限于固定键布局。工程师已经开发出一种解码器算法，借助于深度学习和由受控递归块实现的长期短期记忆，识别由人按压序列键入的字符。解码器记录用户键入的一定量的先前数据作为上下文，这提高了输入识别的准确性。

起初，研究人员需要收集用于训练算法的初始数据集，因此他们邀请了43名志愿者（11名女性和32名年龄在22至32岁之间的男性）在展台上打字，其中包括两个屏幕 – 一个用于显示文本，第二个（触摸）扮演键盘的角色，只显示两个按钮：“删除”（开始再次键入文本片段）和“继续”（移动到下一个片段） ）。不仅仅是带触摸屏的屏幕没有显示任何内容，工程师建议志愿者只需输入文字，就像在普通的屏幕键盘上一样。在热身20个句子后，参与者被给予150-160个句子用于打字（没有很少使用的字符，只有拉丁语，空格，句号，撇号和逗号）。结果，作者收集了7,245个短语，相当于假想键上的196,194次点击。同时，收集的点云平均实际上与标准QWERTY布局相对应，这证实了作者假设用户即使没有触觉反馈也能盲目打字。

收集的数据分为三个部分：培训，测试和控制。为了训练算法，我们使用了两名志愿者打字后获得的数据，并作为对照 – 一名参与者。其余数据用于训练算法。需要控制数据集来防止再训练 – 当解码器的识别准确度开始下跌时，学习过程停止。解码器的最大精度达到了95.84％。

为了测试该方法，作者招募了一组新的13名志愿者（8名女性，5名男性），自信地拥有盲版。工程师指示参与者尽可能快速准确地打字，并让他们拨打熟悉的硬件键盘和触摸屏上的隐形键盘（按每个主题的随机顺序）。为了使它们变暖，他们被要求键入10个短语，然后从之前收集的大型数据中心化给出20个短语进行打字。结果，硬件键盘的打字速度是每分钟51.35个单词，对于假想的键盘 – 每分钟45.57个单词。此外，在实验中，解码器的准确度略高于检查控制数据集时的准确度，达到96.12％。

完成实验后，还要求用户主观评估假想键盘上的工作。实验参与者喜欢打字不需要任何再训练，他们还注意到在面板上任意方便的位置打字很方便。在缺点中，志愿者表示无法用指甲按键，以及缠绕在紧密间隔的角色的风险。

作者分别指出，限制不可见键盘上的打字速度也可能是由于选择了一个太慢的触摸屏进行实验 – 一些志愿者抱怨错过击键。研究人员认为，未来技术可以得到改善。作者也确信他们的开发非常适合虚拟现实。

对于虚拟现实，还有其他解决方案，包括使用熟悉的硬件键盘。例如，罗技开发了一种基于HTC Vive虚拟现实头盔将物理键盘集成到虚拟现实中的系统。为此，键盘上固定了一个特殊的控制器，可以准确跟踪键盘相对于头盔的位置，在虚拟现实中，键盘模型和用户的手都会显示出来。