4月24日，苹果开源了大语言模型OpenELM。这与微软刚开源的Phi-3 Mini类似，是一款专门针对手机等移动设备的模型。
以下是一些重点信息的摘要： 1. 开源OpenELM: 苹果公司开源了一个名为OpenELM的大语言模型，这与微软开源的Phi-3 Mini类似，是专为移动设备设计的模型。 2. 模型参数: OpenELM提供了四种不同参数规模的模型，分别是2.7亿、4.5亿、11亿和30亿参数。 3. 功能: 该模型能够执行生成文本、代码、翻译、总结摘要等功能。 4. 预训练数据: 尽管最小的模型只有2.7亿参数，但苹果使用了1.8万亿tokens的数据进行预训练，这是其小参数下仍能表现出色的原因之一。 5. 深度神经网络库CoreNet: 苹果同时开源了用于训练OpenELM的深度神经网络库CoreNet，该库在开源后不久就在GitHub上获得了超过1100个星标。 6. 苹果的开源策略: 苹果通常在手机领域采取闭源策略，但此次开源可能是为了吸引用户，未来可能会推出闭源产品实现商业化。 7. 技术贡献: 苹果不仅发布了模型权重和推理代码，还发布了完整的训练和评估框架，包括数据准备、模型训练、微调和评估流程，以及多个预训练检查点和训练日志。 8. OpenELM架构: OpenELM的架构，包括其技术创新点，如无编码器的transformer架构、层级缩放策略、不使用全连接层中的可学习偏置参数等。 9. 训练流程与数据集: 苹果使用CoreNet作为训练框架，Adam优化算法，以及动态分词和数据过滤的方法。
开源地址：https://huggingface.co/collections/apple/openelm-instruct-models-6619ad295d7ae9f868b759ca?ref=maginative.com CoreNet地址：https://github.com/apple/corenet?ref=maginative.com 论文地址：https://arxiv.org/abs/2404.14619
Adobe Photoshop 引入了全新的 Firefly Image 3 图像 AI 模型，这一更新是在2024年4月23日宣布的。这个新模型是基于 Adobe Firefly Image 3 Foundation Model 开发的，旨在为创意专业人士和设计师提供更多的AI图像编辑功能和改进。
Firefly Image 3 模型不仅增加了生成式AI特性，还对Photoshop现有的所有功能进行了改进，使得生成的图像和输出看起来更加逼真、详细。
Firefly Image 3 模型通过提供更多的控制、改进图像生成以及使编辑过程更直观，大幅提升了图像编辑的深度与灵活性。这些新功能包括但不限于根据文本提示制作基于AI的图像，以及在Photoshop中引入的新的人工智能功能，如Reference Image等。
Adobe Firefly Image 3 模型的引入，标志着Adobe在AI图像生成领域的一个重要进步，它不仅增强了创意专业人士和设计师的工作效率和创造力，也为用户提供了更加丰富和强大的图像编辑工具。这些更新预计将在今年晚些时候通过Photoshop的beta桌面应用向公众开放。
原文地址戳这里！
最近，Adobe 发布了视频超分项目 VideoGigaGAN。从演示效果来看相当牛批，支持8倍视频放大，可以适应不同风格的视频。
详细介绍： 该模型能够生成既保持时间连贯性又具有高频细节的视频。VideoGigaGAN基于一个先进的大规模图像放大模型GigaGAN进行设计和优化。 如果简单地将GigaGAN扩展为视频处理模型，并增加处理时间信息的模块，会引起视频中的严重闪烁问题。为解决这一问题，我们识别并改进了几个关键技术点，显著提升了视频的时间稳定性。 通过在公开数据集上与其他先进的VSR模型对比，并展示8倍超分辨率的视频效果，我们验证了VideoGigaGAN的高效性。
项目地址：https://videogigagan.github.io/
Stability AI 开发者平台 API 现已支持最新版本的 Stable Diffusion3（SD3）及其增强版本 Stable Diffusion3Turbo。
SD3模型的亮点在于其对字体和提示的遵循能力，这在人类偏好评估中得到了突出体现。为了实现这一目标，SD3采用了新的多模态扩散变换器（MMDiT）架构，该架构改进了对图像和语言表示的权重分离处理，从而显著增强了模型的文本理解和拼写能力。这使得SD3在理解和执行用户的文本提示时更为精准，生成的图像更加符合用户的预期。
Stability AI在不断提升服务质量，尽管SD3模型已经通过API对外提供，但公司仍在持续对模型进行优化。Stability AI计划在不久的将来开放模型权重，允许拥有Stability AI会员资格的用户自行托管，这将增强用户的自主性和灵活性。
Stability AI与Fireworks AI的合作确保了API平台的高速和可靠性，公司承诺提供99.9%的服务可用性，这对于企业用户来说尤为重要，因为他们在使用开发者平台进行关键的生成型AI工作时，需要确保服务的稳定性和可靠性。
至于能不能和 Midjourney v6 相媲美或者超越 V6 ，大家不妨多体验，试试看！
API文档：https://top.aibase.com/tool/stable-diffusion-3-api 体验地址：https://sdxlturbo.ai/stable-diffusion3
哎呀，昨晚 Meta 发布被称为最强开源的 Llama 3 系列模型了，大晚上扔了个炸弹啊！说实话，这事儿也不算太意外，毕竟 Meta 总是喜欢搞点大动作。他们这次带来的就是那个自称“有史以来最牛”的开源大模型——Llama 3系列。 咱们设计师，又可以借助这个新模型好好发挥一番了！
一起看看这个 GPT-4 级模型，它能干得过 GPT-4 么？
Llama 3模型的特点 - 规模与性能：Meta开源了两款不同规模的Llama 3模型，分别是8B和70B参数规模。Llama 3 8B在性能上与Llama 2 70B相当，而Llama 3 70B则在性能上媲美甚至超越了其他顶尖AI模型。 - 技术改进：Llama 3在预训练和后训练方面都有所改进，优化了模型的一致性和响应多样性，降低了出错率。 - 多模态与多语言：未来几个月，Meta将推出具备多模态、多语言对话和更长上下文窗口的新模型，其中包括超过400B的模型，预计将与现有的顶尖模型竞争。
Llama 3的性能测试 - 基准测试：Llama 3在多个测试中得分超越了其他同类模型，显示出其在推理、代码生成和遵循指令等方面的突破性提升。 - 人类评估数据集：Meta开发了一套新的高质量人类评估数据集，用于准确研究模型性能。
开源与闭源的辩论 - 开源优势：Meta坚定地支持开源路线，认为这有助于推动社区和公司双方的创新。 - 未来展望：尽管Llama 3为开源模型赢得了一场胜利，但关于开源与闭源的辩论仍在继续。未来，可能会有更高性能的模型出现，为这场辩论带来新的转折。
附上 Llama 3 体验地址：https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct
近日，在量子位举办的中国AIGC产业峰会现场，一份行业参考正式出炉——《中国AIGC应用全景报告》。
1. 市场规模预测：预计2024年中国AIGC应用市场规模将达到200亿人民币，到2030年将达到万亿规模。 2. 投融资情况：去年，AIGC领域发生了至少5起代表性融资事件，其中智谱AI和月之暗面的Kimi智能助手分别获得了巨额融资。 3. 商业模式：B端产品（面向企业的产品）80%实现营收，而C端产品（面向消费者的产品）近50%以免费为主。 4. AI应用类型：AI原生应用占比高于X+AI，即完全基于生成式AI技术打造的原生应用占比接近57%。 5. 技术趋势：多模态技术（能识别和理解两种及以上模态数据的产品）是大趋势，目前占比近50%。 6. 产品落地：AIGC应用产品落地的首要因素是场景与技术的匹配，技术成熟度决定落地速度。 7. 投资资源：AIGC产业投资资源向头部聚集，潜在资本重点看向应用层。 8. 地域分布：北京、上海、杭州、深圳是AIGC应用产品最多的地区。
原文地址：https://mp.weixin.qq.com/s/-jvjxWxssQvfgToxfJbzvA 完整报告下载：jkhbjkhb.feishu.cn/wiki/W5D7wuDcbiPXDLkaRLQcAJpOn8f
各位设计师小伙伴，现在用Midjourney、DALL·E 3、Stable Diffusion 这些AI模型来生成图片的时候，如果生成的图片样式并不完全符合你的设计需求，大家都是怎么处理的啊？
常规操作，你得用 PS、Adobe Lightroom这些软件来调整。不过说实话，这样挺费时的，也不太符合现在AI时代的高效率要求。
近日「AIGC开放社区」就为大家介绍一款最近公测的高效图片无限重生样式的免费试用AI平台——Freepik。这个平台现在是公测期，而且提供免费试用。
你只需要把图片上传到Freepik，选择3D、绘画、怀旧、卡通、超现实等样式，就能在几秒内快速实现。
对于我们这些设计师来说，Freepik简直就是个神器，强烈推荐给大家试试！
Freepik免费试用地址：https://www.freepik.com/pikaso/reimagine
昨晚，Adobe在官网宣布，将OpenAI的Sora、Pika 、Runway等著名第三方文生视频模型，集成在视频剪辑软件Premiere Pro中（简称“PR”）。这些集成的模型和功能将通过AI驱动的音频编辑功能，使得音频编辑变得更快、更轻松、更直观。
这次更新是Adobe对PR的一次重大重构，旨在帮助用户简化创作流程，并提供多样化的创作灵感。通过生成式AI的加持，PR将为专业视频剪辑师和业余爱好者带来更高效和便捷的创作体验。
△鼠标右键，勾选“显示控件”，可以打开声音哦！
用Sora生成视频素材 Adobe的创新之一是将Sora、Gen-2、Pika以及Firefly系列模型集成到PR中，这将帮助用户快速为作品添加不同类型的视频素材和动态效果。例如，用户只需输入文本提示“夜雨中的城市风景”，就能通过Sora生成相应的视频素材，并将其应用在视频项目中作为背景或增强主轨道视频。预览展示表明，用户一次可以生成三个视频供选择。
快速替换、删除视频特定区域 Adobe自研的Firefly模型使得替换视频素材中的特定区域变得轻松。过去，替换素材需要新增一条素材视频轨道并调整图层，而现在通过Firefly，用户只需用钢笔工具圈选区域并输入提示文本，如“一大堆宝石”，即可选择合适的素材进行替换。 此外，Firefly还提供了精准删除或替换视频中无用对象的功能。以往需要通过遮盖、模糊处理等繁琐方法移除的对象，如垃圾桶或电表箱，现在可以轻松点击一下快速删除或替换。
用生成式AI制作定格帧 传统的视频定格帧制作流程相对繁琐，需要找到需要定格的视频序列，确定并添加帧保持，然后调整定格帧的持续时间。现在，借助生成式AI功能，用户只需拖动视频的定格静态帧，AI将自动生成补充内容，简化了整个制作过程。 Adobe创意产品部高级副总裁Ashley Still表示，Adobe正在重新构想视频创作流程的每一个步骤，为创作者提供更高效、便捷的功能。通过将生成式AI深度融合到PR的核心工作流程中，Adobe正在解决视频编辑人员每天遇到的真正制作痛点，帮助他们节省时间并提升创意灵感。
这些更新和创新展示了Adobe对于AIGC领域的重视和投入，以及其致力于推动多媒体创作工具向前发展的决心。通过集成先进的AI技术，Adobe旨在为创作者提供更加强大和灵活的创作平台，以激发更多的创意和可能性。
昨天，谷歌在官网宣布从5月15日起，将向所有谷歌相册用户免费提供Magic Editor、Photo Unblur和Magic Eraser三款生成式AI编辑工具。
通过这三款强大的AI图像编辑工具，用户可以轻松将模糊的图片变高清，实现一键PS/调色/光影，删除图片多余内容等。而在此之前，这三个是谷歌Pixel手机独有功能。
功能介绍： 1. Magic Editor：这是一款强大的AI图像编辑工具，它可以帮助用户轻松实现一键PS/调色/光影，改变图片中的物体位置等。这项功能最初在2023年10月4日随Pixel 8系列手机发布。Magic Editor的优势在于它的细节调整和融合度比传统的PS工具更强，而且操作简单，无需深度的专业知识。不过，需要注意的是，所有谷歌相册用户每月只能使用10次Magic Editor，如果想要更多使用次数，用户需要购买Pixel 8手机或开通Google One计划（2TB及以上）。 2. Photo Unblur：这是一款专用于去除图片模糊的工具。用户在拍摄图片时可能会因为手抖、环境等因素导致图片模糊，Photo Unblur能够一键还原图片的清晰度，让模糊的图片变高清。 3. Magic Eraser：这是一款图片擦除工具，可以帮助用户去除照片中不希望出现的元素，如行人或物体。对于不熟悉PS技术的用户来说，Magic Eraser提供了一种简单快捷的解决方案，一键完美去除图片中的障碍物。
哪款你最期待呢？评论区说出你的想法吧~
OpenAI 发布了GPT-4-Turbo 正式版，这是一个带有视觉能力的模型，能够处理128k的上下文。
这个模型现在已经全面开放，可以通过“gpt-4-turbo”来使用，最新版本为“gpt-4-turbo-2024-04-09”。
GPT-4-Turbo模型的基础能力得到了显著提升，它不仅能够处理文本输入，还能够识别和理解图片。这一特性使得GPT-4-Turbo在多种应用场景中具有更广泛的应用潜力。例如，它可以用于自动编码、图像识别和营养分析等领域，为用户提供更加丰富和便捷的服务。
GPT-4-Turbo的价格与之前的版本保持一致，这使得用户能够以相对较低的成本使用这一先进的AI技术。同时，OpenAI还提供了详细的接口信息和使用限制，帮助开发者更好地理解和利用这一模型。
大家觉得这个新功能怎么样，实用性高吗？
4月10日凌晨，谷歌在官网正式发布了Gemini1.5Pro，现在可在180多个国家/地区使用。
Gemini 1.5 Pro 不仅能够生成创意文本和代码，还能理解、总结上传的视频和音频内容，并且支持高达100万tokens的上下文。
在Google AI Studio开发平台中，用户可以免费试用Gemini 1.5 Pro，并且它支持中文提示。这使得用户能够通过简单的操作，上传视频或音频文件，并获取内容的深度总结。例如，用户可以上传一个视频并询问影片的内容，Gemini 1.5 Pro能够快速解析并提供答案。
Gemini 1.5 Pro还提供了音频理解功能，能够快速解析音频文件并总结其内容。这对于需要处理大量视频和音频内容的用户来说，无疑是一个巨大的帮助，因为它可以节省大量的时间。
谷歌还对Gemini API进行了性能优化，包括系统指令、JSON模式以及函数调用优化，这些改进显著提升了模型的稳定性和输出能力。系统指令功能允许用户根据特定需求控制模型的行为，JSON模式可以帮助开发者从文本或图像中提取结构化数据，而函数调用优化则支持开发者实现更全面的查询响应。
详情点此查看: https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html
音频理解能力: https://github.com/google-gemini/cookbook/blob/main/quickstarts/Audio.ipynb
刚刚，OpenAI 官方账号发布的一支由 Sora 制作的MV（Music Video）——《Worldweight》
这支 MV 的音乐是由艺术家 AugustKamp 作曲，而画面内容则是通过 Sora 来生成的。AugustKamp 表示，Sora 使得他能够将原本只存在于他心中的想象转化为可以与他人共享的艺术形式。这并非他首次使用AIGC技术来制作MV，他之前已经在 Instagram 上分享过由 Sora 生成的 MV 片段。
但是和以往不同的是，全球知名的艺术家，包括麻辣鸡（NickiMinaj）、水果姐（KatyPerry）、碧梨（BillieEilish）等，联名抗议AIGC技术的使用。他们认为AIGC技术在未经补偿的情况下使用艺术家的声音、作品来训练AI模型，并稀释支付给艺术家的版税池，这些问题不仅损害了艺术家的经济利益，也对他们的创作自由和艺术价值构成了威胁。
科技的发展与创造力的边界在哪里？从 MV 到音乐剧。AI如何重塑我们的音乐体验呢？欢迎在评论区留言讨论！
