发布时间:2023-11-24
点击次数: 继火爆出圈的grounded sam之后,idea研究院团队携重磅新作归来:全新视觉提示(visual prompt)模型t-rex,以图识图,开箱即用,
开启开集检测新天地!
拉框、检测、完成!在刚刚结束的2025IDEA大会上,IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋展示了基于视觉提示的目标检测新体验,并发布了全新视觉提示模型T-Rex的模型实验室(playground), Interactive Visual Prompt(iVP),掀起现场一波试玩小高潮。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

在iVP上,用户可以亲自解锁“一图胜千言”的p
rompting体验:在图片上标记感兴趣的对象,向模型提供视觉示例,模型随即检测出目标图片中与之相似的所有实例。整套流程交互便捷,只需几步操作就可轻松完成。

IDEA研究院4月份发布的Grounded SAM (Grounding DINO + SAM) 曾在Github上火爆出圈,至今已狂揽11K星。有别于只支持文字提示的Grounded SAM,此次发布的T-Rex模型提供着重打造强交互的视觉提示功能。
T-Rex具备极强的开箱即用特性,无需重新训练或微调,即可检测模型在训练阶段从未见过的物体。该模型不仅可应用于包括计数在内的所有检测类任务,还为智能交互标注场景提供新的解决方案。

团队透露,研发视觉提示技术是源自对真实场景中痛点的观察。有合作方希望利用视觉模型对卡车上的货物数量进行统计,然而,仅通过文字提示,模型无法单独识别出每一个货物。其原因是工业场景中的物体在日常生活中较为罕见,难以用语言描述。在此情况下,视觉提示显然是更高效的方法。与此同时,直观的视觉反馈与强交互性,也有助于提升检测的效率与精准度。
基于对实际使用需求的洞察,团队将T-Rex设计成可接受多个视觉提示的模型,且具备跨图提示能力。除了最基本的单轮提示模式,目前模型还支持以下三种进阶模式.
TTSMaker
TTSMaker是一个免费的文本转语音工具,提供语音生成服务,支持多种语言。
2275
查看详情

在同期发布的技术报告中,团队总结了T-Rex模型的四个主要特点:

研究团队指出,在目标检测场景中,视觉提示的加入能够补足文本提示的部分缺陷。未来,两者的结合将进一步释放CV技术在更多垂直领域的落地潜能。
有关T-Rex模型的技术细节,请参考同期发布的技术报告。

iVP模型实验室:https://deepdataspace.com/playground/ivpGithub链接:trex-counting.github.io
这项工作来自于IDEA研究院计算机视觉与机器人研究中心。该团队之前开源的目标检测模型DINO是第一个在COCO目标检测排行榜上取得第一名的DETR类模型;在Github上非常受欢迎的零样本检测器Grounding DINO和能够检测和分割任何物体的Grounded SAM,同样是该团队的作品
以上就是新技术推出,IDEA研究院发布T-Rex模型,让用户能够直接在图像上选择“Prompt”提示的详细内容,更多请关注其它相关文章!
# 入门
# 自己建设视频网站
# 吉他网站建设海报图
# 网上推广的营销方案
# 交互性
# 进阶
# 是一个
# 即用
# 景中
# 一幅
# 开源
# 适用于
# 官网
# 如何用
# playground
# 机器视觉
# 网站seo多个首页优化
# 沈阳线下营销推广
# 建设办理进度查询网站
# 传媒公司推广营销策略
# 营销推广歌
# 郑州网站建设优惠公司
# 宁乡口碑营销推广
相关栏目:
【
行业新闻62819 】
【
科技资讯67470 】
相关推荐:
实测 AI 建筑设计软件的自动生成效果图能力
AI绘画,还需要懂数学?
WHEE功能介绍
东软成立魔形科技研究院,积极布局大语言模型系统工程战略,迎接AI时代
“电碳”技术提升碳排放监测精度
苹果CEO库克:持续研究生成式人工智能技术
微软推出 LLaVA-Med AI 模型,可对医学病理案例进行分析
张朝阳与陆川谈AI:ChatGPT是鹦鹉学舌思维,不可能取代人类 | 把脉AI大模型
禁止艺术家使用 AI 创作《龙与地下城》游戏插图的决定已在 D&D Beyond 生效
中国AI公有云市场2025年逆势蓬勃增长,增速高达80.6%
人工智能驱动智能建筑会是未来趋势吗?
AI技术改变*,新骗局来袭,*成功率接近100%
洞穴探险神器?可自主导航的单旋翼自旋无人机,效率更高!
对话式论文阅读工具PaperMate上线,综述细节AI告诉你
视觉中国推出AI灵感绘图功能
GPT-4不能在麻省理工学院获得计算机科学学位
2025智源大会AI安全话题备受关注,《人机对齐》新书首发
【|直播|预告】人工智能高峰论坛将于7月2日13:30准时开播!
世界人工智能大会高合发表演讲,HiPhi Y即将全球上市
特斯拉人形机器人将亮相 预计售价不超过15万元
2025年深圳举办的SUSECON 创新峰会开始接受报名
猿辅导推出Motiff,整合三大AI功能,助力UI设计生产力革新
广州团建公司方案 | 绝密飞行 → X-PLANE无人机团建主题团建
云米Smart 2E AI立式空调开启预售:新三级能效,到手价3899元
大模型训练成本降低近一半!新加坡国立大学最新优化器已投入使用
午报 | 字节跳动要造机器人;东方甄选首次启动自有APP|直播|
25个AI智能体源码现已公开,灵感来自斯坦福的「虚拟小镇」和《西部世界》
微软在 Build 大会上宣布的新 Microsoft Store AI Hub 现已开始推出
五个IntelliJ IDEA插件,高效编写代码
热点资讯:家乐福推出聊天机器人;米哈游2025年营收273.4亿元…
上海发布“元宇宙关键技术攻关行动方案”,加快 AIGC 等突破
DreamAvatar数字人使用教程
创新科学家成功研发FAST激光靶标维护机器人
GPT-4使用混合大模型?研究证明MoE+指令调优确实让大模型性能超群
闪电快讯|京东推出言犀AI大模型 面向零售、医疗、物流等产业场景
华为云发布华为云盘古模型3.0和升腾AI云服务,亮点亮相2025华为开发者大会
RoboNeo什么时候上线
人工智能加速走进百姓生活:从2025全球人工智能技术大会看行业新趋势
元宇宙技术带你穿梭“大运河”,江苏书展上的数字阅读馆吸睛小读者
稿见AI助手:提升写作效率与质量的必备工具
数字彩排、虚拟建厂!这家顶级洗衣机工厂敲开“工业元宇宙”之门
甲骨文与Cohere合作为企业提供生成式人工智能服务
如何用AI开创智慧能源新时代?固德威正让能源“通人性”!
谷歌在人工智能领域没有“护城河”?
百度文心一言App上架苹果商店,人工智能创作引发热议
OpenAI 为开发者推出 GPT 聊天机器人 API 大更新,同时降低价格
抢占新赛道 加快机器人产业集聚发展
【机智云物联网低功耗转接板】远程环境数据采集探索
周鸿祎:360智脑开放API接口 AI大模型将赋能百行千业
普林斯顿大学推出Infinigen AI模型 可生成真实自然环境 3D场景