日前OpenAI方面宣布，旗下最新大模型GPT-4 Turbo具有视觉能力的版本GPT-4 Turbo with Vision，现已通过API向开发者提供，并且该模型也已支持JSON模式和函数调用。同时OpenAI方面还透露，后续GPT-4 Turbo with Vision也将会接入ChatGPT 。
据了解，GPT-4 Turbo此前于2023年11月举行的OpenAI首届开发者大会上正式发布，其支持12.8万个token的窗口大小。GPT-4 Turbo with Vision则不仅同样支持12.8万个token的窗口大小，还将训练数据截止日期更新为2023年12月。相比GPT-4 Turbo，GPT-4 Turbo with Vision最主要的更新在于它的视觉功能，即可以理解图像和视觉内容。因此这也就意味着GPT-4 Turbo with Vision可以极大简化开发者的开发流程，使得其不必再调用不同的模型来处理文本和图像信息。
在日前发布的相关公告中，OpenAI方面还分享了一些开发者使用GPT-4 Turbo with Vision构建产品的案例。例如，AI软件工程助手Devin是一个由GPT-4 Turbo with Vision提供支持的AI软件工程助手，可使用视觉执行各种编码任务；健康健身应用程序 Healthify借助GPT-4 Turbo with Vision的支持扫描用户饮食照片，通过图像识别提供营养分析；创意平台 Make Real则利用该模型将用户的草图转化为可运行的网站等。
但需要注意的是，日前有相关报道称，有研究发现GPT-4 Turbo with Vision的编码能力相对较差。在这一研究结果中指出，GPT-4 Turbo with Vision在aider的编码基准套件中的表现比之前所有的GPT-4系列模型都要差，尤其是与现有的GPT-4 Turbo preview相比，似乎更容易在编码方面“偷懒”。
