此外,Midjourney还提供了“-cw”标签,用户可以通过这个标签来调整与指定图片的相似程度,从而微调角色的样貌。
腾讯联合清华、港科大推出图生视频大模型“Follow Your Click”
3月15日,腾讯和清华大学、香港科技大学联合推出全新图生视频模型“Follow-Your-Click“,基于输入模型的图片,只需点击对应区域,加上少量提示词,就可以让图片中原本静态的区域动起来,一键转换成视频。
据了解,本联合项目组中的腾讯混元大模型团队,正在持续研究和探索多模态技术,拥有行业领先的视频生成能力。此前,腾讯混元大模型作为技术合作伙伴,支持《人民日报》打造原创视频《江山如此多娇》,生成中国大美河山的精美视频片段,展示出了较强的内容理解、逻辑推理和画面生成能力。
生物模型
前Google DeepMind科学家联手创建Biooptimus,构建首个通用生物学大模型
2月20日,总部位于巴黎的Biooptimus在获得3500万美元的种子轮融资,其使命是建立第一个用于生物学的通用人工智能基础模型。这一新的开放科学模型将把不同规模的生物学与生成人工智能连接起来——从分子到细胞、组织和整个生物体。
Bioptimus联合了一个由Google DeepMind alumni和Owkin科学家组成的团队,其中AI生物技术初创公司Owkin本身就是一家法国独角兽,他们将利用AWS计算和Owkin的数据生成功能,并访问来自全球领先学术医院的多模态患者数据。
AI应用
具身智能
英伟达成立具身智能实验室GEAR
2月24日,英伟达宣布成立通用具身智能体研究实验室GEAR,标志着英伟达正式入局具身智能领域的研究,加速人工智能具身化进程。
机英伟达GEAR实验室的联合创始人Jim Fan博士在X平台上表示:“我们相信,在未来,每一台移动的机器都将是自主的,机器人和模拟智能体将像iPhone一样无处不在。我们正在构建基础智能体:一个具有通用能力的AI,可以在许多虚拟和现实的世界中学习如何熟练地行动。2024年将是属于机器人、游戏AI和模拟的一年。”
Jim Fan还补充道:“我们有足够的资金一次性解决机器人基础模型、游戏基础模型和生成式模拟。我们团队可能是全球最有钱的具身智能实验室。”
特斯拉人形机器人更新,步态达到最快
2月25日,特斯拉人形机器人Optimus发布更新,达到了有史以来最快的步态,速度约为 0.6m/s,比去年12月速度提升了30%以上。
Optimus改善了前庭系统、足部轨迹和地面接触逻辑,升级了运动规划器,并减少了机器人的循环延迟。Optimus整体上更加稳定、更加自信——即使在转弯时也是如此。此外,还添加了轻微的躯干和手臂摆动。
Figure AI宣布获得6.75亿美元融资,估值达到26亿美元
2月29日,具身智能公司Figure宣布获得6.75亿美元融资,估值达到26亿美元。投资方包括微软、OpenAI创业基金、英伟达、杰夫·贝索斯(通过Bezos Expeditions)、Parkway Venture Capital、英特尔、Align Ventures。
Figure AI还与OpenAI签署了合作协议,为人形机器人开发下一代人工智能模型。Figure将利用Microsoft Azure进行人工智能基础设施、培训和存储。
3月13日,Figure AI的第一款产品Figure 01发布Demo视频,能够实现端到端的机器人指令操作。其中,OpenAI模型提供高级视觉和语言智能,图形神经网络提供快速、低级、灵巧的机器人动作。
伯克利团队发布具身智能论文,用训练GPT的方法训练人形机器人
3月3日,伯克利团队发布论文,名为《Humanoid Locomotion as Next Token Prediction》,论文的核心思想,就是把OpenAI训练ChatGPT时所用到的“预测下一个token”的思路,用在人形机器人的运动控制中。
该模型是一个通过自回归预测训练的causal transformer(因果转换器)。