各位设计师们,这个工具太牛了啊,只需在源图像中指定需要编辑的区域,并提供一张参考图,MimicBrush 就能智能捕捉两者间的联系,自动完成局部编辑或替换。该工具的主要功能包括局部区域编辑、纹理转移和后期处理优化等。分享给大家!!
MimicBrush 是由中国香港大学、阿里巴巴集团和蚂蚁集团联合开发的一种零样本图像编辑工具,通过参考图像进行模仿编辑,帮助用户更方便地进行创作。
MimicBrush 的主要特点包括: 参考图像模拟:分析并复制参考图像中指定的视觉特征到源图像中的标记区域,确保风格或内容的一致性。 零样本图像编辑:允许用户在没有原始目标图像的情况下进行图像编辑,通过参考仿制的方式实现编辑效果。 文本到图像对齐:利用 CLIP 编码器和 VAE 实现文本到图像的对齐功能,用户可以通过输入文本描述来指导编辑过程。 多样化的编辑结果:展示了一系列多样化的编辑结果,包括局部区域编辑、纹理转移和后期处理优化等功能。
MimicBrush 还简化了复杂的编辑流程,提高了效率和灵活性,特别适用于产品定制、角色设计和特效制作等领域。其底层框架基于 SD1.5 的扩散模型和 MimicBrush 模型结合,极大地简化了 AI 图像编辑的流程。
项目地址:https://github.com/ali-vilab/MimicBrush
大家还记得 Sora 是什么时候发布的吗?2 月份,当时 OpenAI 发布之后,一夜之间就把 AI 视频生成界搅得天翻地覆啊,但是现在一点消息都没有了,反倒是其他平台遍地开花,特别是这个月,简直太爆炸了~
昨天深夜,Runway 放出酝酿了半年的全新版本 Gen-3 Alpha,也让我们再次见证了这些巨头的底蕴。
Runway Gen-3 Alpha 特点如下: 高保真视频生成:能够生成接近真实世界质量的视频内容,具有高度的细节和清晰度。 精细动作控制:模型能够精确控制视频中对象的动作和过渡,实现复杂场景的流畅动画。 逼真人物生成:特别擅长生成具有自然动作、表情和情感的逼真人类角色。 多模态输入:支持文字转视频、图像转视频、文字转图像等多种创作方式。 先进工具:支持运动画笔、相机控制和导演模式等专业创作工具。 增强的安全措施:引入新的内部视觉审核系统和 C2PA 标准,确保内容的安全性和可靠性。 高质量训练:使用高描述性的、时间密集的字幕进行训练,使模型能够理解和生成具有丰富时间动态的视频。
现在还在内测中,后期可以体验的时候再给大家分享地址!
苹果前段时间刚宣布 Vision Pro 国行版月底正式发售,近日腾讯视频的 VisionOS 端就已经上线了,并且提供了沉浸式追剧的体验。用户可以在 App Store 下载该应用程序,腾讯视频现在是国内首批支持VisionOS 的长视频平台之一。
腾讯视频为 VisionOS 端用户提供了超过 600 部资源,包括《庆余年第二季》、《三体》和《斗罗大陆》等热门影视作品。这些内容不仅涵盖了剧集、动漫、电竞、电影、综艺和纪录片等多元内容类型,还总时长超过1000小时。
为了增强用户的沉浸式体验,腾讯视频还推出了“IP空间体验”、“王者沙盘”和“客厅巨幕影院”等多项功能。这些功能利用了Apple Vision Pro的空间计算特性,基于RealityKit与空间音频技术,为用户提供了更加真实和互动的观看模式。 腾讯视频的VisionOS端不仅提供了丰富的视频资源,还通过先进的技术手段,为用户带来了前所未有的沉浸式追剧体验。
腾讯视频各种SVIP已经开好了,现在就差个 Vision Pro 了~~
斯坦福大学的研究团队与 Apparate Labs 前几天发布一款名为 Proteus 的创新 AI 视频生成模型,可以从单一图像生成笑、说唱、唱歌、眨眼、微笑、说话高度逼真和具有表现力的虚拟人物。 PROTEUS兼容多种大模型的多模态输入,可以处理语音、文本和图像等多种形式的数据。
Proteus模型亮点: - 高度逼真:利用先进的AI技术,Proteus能够从单张图片生成具有高度逼真表情和流畅动作的虚拟人物形象。 - 低延迟生成:Proteus模型具备低延迟特性,能够实时响应语音输入,生成每秒超过100帧的视频流。 - 多模态交互:模型支持语音、文本和图像等多种输入形式,实现与用户的自然直观交互。
应用领域: Proteus模型在个性化虚拟助理、虚拟宠物、情感支持、客户服务、教育和培训、游戏定制、影视娱乐、市场营销和社交媒体等领域具有广泛的应用潜力。
申请体验地址: https://apparate.ai/early-access.html
我们都知道 Stable Diffusion 3 是一款强大的文生图模型,拥有20亿参数,因其高效的推理速度和卓越的生成效果而备受瞩目。
近日,Stability AI在推特上宣布正式开源了 Stable Diffusion 3 Medium(SD3-M) 权重,为广大用户带来了免费试用的机会。而且官方还宣称 SD3-M 是他们 Stable Diffusion 3 系列中最新、最先进的文本转图像 AI 模型!
Stable Diffusion 3 Medium(SD3-M)关键要点: 1. Stable Diffusion 3 Medium,由 Stability AI 推出,代表了我们迄今为止在文本到图像领域最前沿的开放模型技术。 2. 这款模型设计紧凑,便于在常见的个人电脑、笔记本电脑,以及企业级图形处理单元(GPU)上高效运行。其优化的大小使其成为文本转图像应用的新一代标准。 3. 现在,这些精心调整的模型权重可以在非商业性的开放许可证和面向创作者的低成本许可证下供您使用。如果您有大规模商业应用的需求,欢迎联系我们以获取更详细的许可信息。 4. 想要体验 Stable Diffusion 3 模型的魅力,您可以通过 Stability AI 的平台 API 来尝试。我们还提供在 Stable Assistant 上注册即可享受的三天免费试用。此外,您还可以通过 Discord 加入 Stable Artisan,进一步探索模型的潜力。
Stability AI官方公告 地址:http://stability.ai/news/stable-diffusion-3-medium
设计师新宠来啦!初创公司 Luma 全新发布 Dream Machine,能从文本/图像直接生成视频。感觉比 Sora 也差不了多少。
Dream Machine 120秒就能给你做出一个120帧的视频!这速度,想改点啥,马上就能再做一个新的,太高效了!而且镜头效果超自然,Dream Machine还超级懂镜头语言!它能模拟出各种电影级的摄像机运动,让你的视频看起来就像大片一样流畅、自然。
大家可以看看下面的演示视频,它还能理解人和物是怎么在现实中互动的,所以做出来的视频里,角色和场景都超级真实,一点都不会觉得假。
最最最主要的是,现在人人都可以免费体验!服务器都快被大家挤爆了,你还在等啥呢?赶紧来试试吧!
体验地址:https://lumalabs.ai/dream-machine
Follow-Your-Emoji是一项创新技术,它通过精确捕捉视频人物的面部特征,尤其是面部细节和瞳孔动态,为你的照片注入生动活力。无需复杂的面部轮廓勾勒,只需一张静态照片,Follow-Your-Emoji就能将其转化为活灵活现的面部动画。
Follow-Your-Emoji究竟有何神奇之处?
1. 真实身份再现:在动画生成过程中,它巧妙保留参考头像的独特身份特征,确保你的形象始终如一。 2. 表情千变万化:无论是细微的眼部动态还是夸张的表情变化,Follow-Your-Emoji都能轻松捕捉,让你的表情更加生动自然。 3. 风格多样选择:无论你喜欢卡通、现实人物、雕塑还是动物风格的动画,Follow-Your-Emoji都能满足你的需求,让你的照片焕发不同的魅力。 4. 稳定持久动画:采用先进的渐进生成策略,确保长时间动画的稳定性和一致性,让你的照片动画更加持久流畅。
想象一下,你可以使用一段视频或动作序列来驱动多个不同的参考头像生成动画,让每个头像都按照同一个动作序列展现相同的动作和表情。或者,你也可以用一张参考头像与多个不同的驱动视频结合,创造出丰富多样的动画效果。
项目介绍:https://follow-your-emoji.github.io/
近日,快手发布了国内首个效果对标 Sora 的视频生成大模型「可灵」,并已在其旗下的快影App中开放邀测体验。
可灵大模型是由快手 AI 团队自研,采用了类似 Sora 的技术路线,并结合了多项自研创新技术。该模型具备强大的概念组合能力和想象力,能够生成具有大幅度合理运动的视频,并模拟物理世界特性。其生成的视频分辨率高达1080p,时长最高可达2分钟(帧率30fps),且支持自由的宽高比。
可灵大模型不仅限于文生视频功能,还将推出其他应用,如“AI舞王”和“AI唱跳”,这些应用可以驱动表情和肢体动作,仅需一张照片就能生成相应的视频。
目前,可灵大模型已在快影App中正式开启邀测,支持720p视频生成,竖版视频生成能力也即将开放,大家可以来试一试,看看生产的效果怎么样!
官网地址:https://kling.kuaishou.com/
给大家分享一个超好用的短视频制作 AI 神器:GlatoAI。特别适合那些想快速给产品做介绍的自媒体小伙伴们,还有想第一时间get新产品信息的商务大哥大姐们。
你只需把链接往上一贴,不管是文章、产品页还是啥网页链接,GlatoAI 都能秒速分析,然后给你做个配套的短视频广告。视频里啥都有,包含讲话的人物+语音+字幕。
就这么简单,不需要你费太多脑筋。赶紧试试吧,真的超好用哦!
如果对效果不满意,还可以在以下方面进行更多的调整: 1. 修改名称、上传标志、产品描述、期望持续的时间、额外的介绍信息 2. 除了自动收集链接中的图文视频之外,也可以选择自行上传更多信息 3. 从多个备选的视频脚本中进行筛选 4. 更改不同的数字人形象(性别、年龄、拍摄背景等等)
官网地址:GlatoAI
腾讯发布了 ToonCrafter,是一种新型的卡通动画生成技术,可以通过生成插值方法生成自然、连贯的卡通动画中间帧。该技术超越了传统基于对应关系的卡通视频插值方法,能够处理复杂的非线性运动和遮挡问题,使动画过渡更加平滑自然。
从演示来看效果很好,过渡很顺滑,而且没有明显问题。ToonCrafter 利用预训练的图像到视频模型,可以插值两幅卡通图像,并根据参考图像对动画草图自动上色。它支持生成最多16帧的视频,每帧分辨率为512x320。通过减少DDIM步骤,可以降低推理时间。
还设计了一个灵活的草图编码器,使用户能够对插值结果进行互动控制。
项目地址:ToonCrafter
就在刚刚,著名生成式 AI 音乐平台 Elevenlabs 在官网发布了全新功能,文本可直接生成各种逼真音乐特效。
这项技术对于电影、游戏、短视频等行业非常有帮助,因为它可以简化寻找音效的过程,并且多数音效已经获得了 Shutterstock 的商业授权。
Elevenlabs 的这个新功能允许用户通过描述来生成音效,例如汽车呼啸而过的声音、刀剑碰撞的低沉声音或小提琴划过空气的尖锐声音。用户可以登录 Elevenlabs 的官网,选择 “Sound Effects” 并使用该功能。在生成音效之前,用户可以设置音效的时长和文本提示的还原程度。Elevenlabs 还提供了一些示例音效,如雷雨天气的声音和模仿兽人声音的摇滚音乐。
Elevenlabs还提供了语音克隆和文本转语音的功能,但目前对中文的支持较差,生成英文的效果则非常棒。
现在所有用户都可以免费试用 Elevenlabs 的这个新功能。大家可以访问 Elevenlabs 官网了解更多详情。
今天我要推荐的网站,能为你提供未来感十足的AI网站生成体验!
Framer 由Koen Bok和Jorn van Dijk于2014年创立。他们曾在Facebook和Hype进行产品设计和开发,看到现有设计工具无法满足创建复杂互动原型的需求,于是创立了Framer。当下,Framer已经成为设计和开发领域的重要工具。
虽然在实时协作和矢量设计方面,Figma等竞争对手更具优势,但Framer凭借其在互动原型和动画方面的强大功能,保持了在设计工具市场中的重要地位。
✨ Framer亮点 ✨ ① 无代码设计:你无需编程基础,通过拖放组件即可创建复杂的交互效果。 ② 实时协作:多人同时编辑和评论,团队合作更加高效流畅。 ③ 自动化设计:智能布局和响应式设计功能,让你的作品在任何设备上都完美呈现。这也是最打动我的一点。现在大大小小的设备太多了,能做到多端适配,简直感动到哭。 ④ 丰富的模板和组件:海量模板和UI组件库,助你快速启动项目,节省时间。 ⑤ 高保真原型:从静态设计到动态原型,一气呵成,完美展示用户体验。
官网地址:Framer
不知道你有没有遇到过这样的烦恼:设计的颜色看起来很漂亮,但是总有人说看不清楚?其实,这都是因为颜色对比度不够高!今天给大家推荐一个神器 Colour Contrast,让你的设计既好看又清晰!
🔍 五大亮点: ① 简单易用: 界面简洁,操作方便。只要输入你要用的颜色,马上就能看到对比度结果,超级方便!
② 符合标准: 网站按照国际无障碍标准(WCAG)来评估你的颜色对比度,确保你的设计对所有人都友好,特别是那些有色觉障碍的用户。
③ 实时反馈: 输入颜色后,立刻显示对比度评分,告诉你颜色搭配是否合格。如果不合格,还有建议改进的地方。
④ 色盲模拟: 可以模拟不同色盲类型的视觉效果,帮助你更全面地优化设计,确保任何人看你的设计都不会觉得吃力。
⑤ 方便分享: 可以保存和分享你的颜色对比结果,让团队协作更顺畅。
👉首页地址:Colour Contrast