InternGPT视觉交互系统

声明：该文章由作者（许诺余生）发表，转载此文章须经作者同意并请附上出处(0XUCN)及本页链接。。

InternGPT（简称 iGPT） / InternChat（简称 iChat） 是一种基于指向语言驱动的视觉交互系统，允许你使用指向设备通过点击、拖动和绘制与 ChatGPT 进行互动。

InternGPT 的名称代表了 interaction（交互）、nonverbal（非语言）和 ChatGPT。与依赖纯语言的现有交互系统不同，通过整合指向指令，iGPT 显著提高了用户与聊天机器人之间的沟通效率，以及聊天机器人在视觉为中心任务中的准确性，特别是在复杂的视觉场景中。

此外，在 iGPT 中，采用辅助控制机制来提高 LLM 的控制能力，并对一个大型视觉 - 语言模型 Husky 进行微调，以实现高质量的多模态对话（在 ChatGPT-3.5-turbo 评测中达到 93.89% GPT-4 质量）。

主要功能使用：

在图片上传成功后，你可以发送如下消息与 iGPT 进行多模态相关的对话："what is it in the image?" or "what is the background color of image?".

你同样也可以交互式地操作、编辑或者生成图片，具体如下：

• 点击图片上的任意位置，然后按下 Pick 按钮，预览分割区域。你也可以按下 OCR 按钮，识别具体位置处存在的所有单词；

• 要在图像中 删除掩码区域，你可以发送如下消息：“remove the masked region”；

• 要在图像中 替换掩码区域的物体为其他物体，你可以发送如下消息：“replace the masked region with {your prompt}”；

• 想 生成新图像，你可以发送如下消息：“generate a new image based on its segmentation describing {your prompt}”；

• 想通过 涂鸦创建新图像，你应该按下 Whiteboard 按钮并在白板上绘制。绘制完成后，你需要按下 保存 按钮并发送如下消息：“generate a new image based on this scribble describing {your prompt}”。

系统概览：

[超站]友情链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
关注数据与安全，洞悉企业级服务市场：https://www.ijiandao.com/