Google 刚推出拓展插件 Screen AI 的新功能

谷歌刚刚推出了 ScreenAI，而且非常疯狂。这将永远改变用户体验的未来以下是保持领先地位所需的一切：

ScreenAI 是由 Google AI 开发的视觉语言模型 (VLM)，可以理解用户界面 (UI) 和信息图表。它非常强大——能够执行图形问答、元素注释、摘要、导航和特定于 UI 的 QA 等任务。

它是如何工作的：就像一个超级强大的 UI 解释器一样，ScreenAI 使用两个阶段： - 预训练：应用自我监督学习来自动生成数据标签 - 微调：使用人工评分者手动标记的数据 以下是它的一些功能：

1. 问答模型回答有关屏幕截图内容的问题。

2. 屏幕导航 该模型将自然语言话语转换为屏幕上的可执行动作。例如，“单击搜索按钮。”

3. 屏幕摘要 该模型用一两句话总结屏幕内容。

UI 交互的未来是光明的（并且由人工智能驱动）！现在可以用吗？还没有——这仍然是一个研究项目。但请继续关注！谷歌在这里做了一些革命性的事情。