近日，在布鲁克林举行的Hot Pod峰会上，Adobe发布了名为“Project Music GenAI Control”的全新AI音乐创作工具原型。该工具利用生成式人工智能技术，帮助用户无需专业音频制作经验即可创作和编辑音乐。
用户只需输入文本描述，例如“欢快的舞蹈”或“忧伤的爵士乐”，Project Music GenAI Control就能生成对应风格的音乐。更重要的是，用户还可以使用集成的编辑控件自定义生成的音乐，调整重复模式、速度、强度和结构。该工具可以重新混音音乐片段，并生成循环音频，非常适合内容创作者制作背景音乐和配乐。
Adobe 表示，Project Music GenAI Control还能够“基于参考旋律”调整生成的音频，并且可以延长音频片段的长度，以满足固定动画或播客片段等所需时长。目前，用于编辑生成音频的实际用户界面尚未公布。
“这些新工具最激动人心的功能之一不仅仅是生成音频” Adobe研究院高级研究科学家Nicholas Bryan在新闻稿中表示，“它们就像Photoshop一样，赋予创作者深度控制权，让他们可以塑造、调整和编辑音频，就像像素级控制图像一样。”
Project Music GenAI Control由Adobe与加州大学和卡内基梅隆大学计算机科学学院合作开发，目前该项目仍处于“早期实验”阶段，未来可能会被整合到Adobe旗下的现有编辑工具Audition和Premiere Pro中。目前该工具尚未向公众开放，也未公布发布时间。
近日，谷歌DeepMind的研究人员推出了，首个无需数据标记、无监督训练的生成交互模型——Generative Interactive Environments，简称“Genie”。
Genie是一个具有110亿参数的模型，它能够根据图像、真实照片甚至草图生成可控制动作的视频游戏。这个模型的特点是无需数据标记和无监督训练，它通过3万小时、6800万段游戏视频进行了大规模训练，而且训练过程中没有使用任何真实动作标签或其他特定提示。
Genie的核心架构使用了ST-Transformer（时空变换器），这是一种结合了Transformer模型的自注意力机制与时空数据的特性，有效处理视频、多传感器时间序列、交通流量等时空数据的方法。ST-Transformer通过捕捉数据在时间和空间上的复杂依赖关系，提高了对时空序列的理解和预测能力。
Genie的架构主要由三大模块组成： 1. 视频分词器：基于VQ-VAE的模块，将原始视频帧压缩成离散的记号表示，以降低维度并提高视频生成质量。 2. 潜在动作模型：无监督学习模块，从原始视频中推断出状态变化对应的潜在动作，并实现对每一帧的控制。 3. 动力学模型：基于潜在动作模型学习到的动作关系，预测下一帧的视频。
除了视频游戏，你觉得 Genie 模型还能在哪些其他领域发挥作用？
就在刚刚，马斯克将 OpenAI CEO&联合创始人 Sam Altman 告上法庭。马斯克指控OpenAI违反了其创立协议，该协议旨在开发对全人类有益的非营利性AI技术。
诉讼文件中提到，马斯克和其他原告认为OpenAI的管理层在2023年背离了其非营利的使命，转而与微软建立了独家合作关系，并将先进的AI技术GPT-4的秘密化，以服务于微软的商业利益。
马斯克之前也表达了对AGI的担忧，他与DeepMind联合创始人Demis Hassabis的会面，以及他对AI可能带来的社会威胁的担忧。马斯克和Altman共同创立OpenAI的初衷是确保AI技术的发展能够惠及全人类。然而，随着OpenAI在AI领域的领先地位日益巩固，尤其是在开发出GPT-4模型后，公司的方向发生了根本性转变。
在这场法律风暴中，在AI技术可能带来的潜在风险和利益之间，你更倾向于哪一方？
感兴趣的小伙伴可以戳链接详细了解：https://new.qq.com/rain/a/20240301A06PR600 1.2万字指控细节：https://www.courthousenews.com/wp-content/uploads/2024/02/musk-v-altman-openai-complaint-sf.pdf
近期，阿里巴巴智能计算研究所提出了一种新的生成式框架 EMO，是一种富有表现力的音频驱动的肖像视频生成框架，用户只需提供一张照片和一段音频文件，EMO就能生成会说话唱歌的AI视频，实现无缝对接的动态小视频，最长时间可达1分30秒左右。这项技术的应用场景非常广泛，从电视剧角色的语音合成到音乐视频中的虚拟表演者，都有可能被AI技术所取代。
EMO框架使用Audio2Video扩散模型，通过三个阶段的技术处理，包括帧编码、音频编码和去噪操作，以及参考注意力和音频注意力机制，来生成富有表现力的人像视频。
目前，EMO 框架上线到 GitHub 中，相关论文也在 arxiv 上公开。
GitHub：https://github.com/HumanAIGC/EMO
论文：https://arxiv.org/abs/2402.17485
