智谱清影是智谱AI推出的一款视频生成工具,以下是对其的详细介绍:
一、基本信息
- 推出公司:智谱AI
- 发布时间:2024年7月26日
- 功能定位:视频生成工具,支持文生图和图生视频
- 使用平台:可在智谱清言PC端和APP端使用,同时清影(Ying)API也同步上线大模型开放平台bigmodel.cn
二、技术特点
- 高效三维变分自编码器结构:智谱AI采用了高效的三维变分自编码器结构(3D VAE),将原视频空间压缩至2%,大大降低了训练成本和难度。
- 因果三维卷积:为主要模型组件,移除了注意力模块,使模型具备不同分辨率迁移使用的能力。
- 端到端的视频理解模型:增强了模型的文本理解和指令遵循能力,使生成视频更符合用户输入。
- Transformer架构:视频生成模型CogVideoX将文本、时间、空间三个维度融合,优化了模态间的交互效果,提高了生成视频的连贯性和自然度。CogVideoX相比前代推理速度提升了6倍。
三、功能特点
- 文生视频:用户输入文本后,可选择视频风格(如卡通3D、黑白、油画、电影感等)和情感氛围(如温馨和谐、生动活泼、紧张刺激等),点击“生成视频”按钮后,即可生成视频。
- 图生视频:用户上传图片后,输入描述,同样可选择风格和氛围等参数,生成视频。对于图片生成视频,用户只需上传清晰图片,并按照提示进行操作即可。
- 高清视频生成:支持生成1440x960清晰度的高精度视频,帧率为16fps,画面质量清晰、流畅。
- 风格多样:提供多种视频风格选择,满足不同用户的个性化需求。擅长生成的风格包括卡通风格、真实摄影风格、二次元动漫风格等。
- 便捷操作:用户可以在智谱清言的PC端和APP端进行操作,使用便捷。同时,基于清影的“老照片动起来”小程序也为用户提供了独特的体验,只需上传老照片,AI就能让照片灵动起来。
四、应用场景
- 广告制作:能够根据用户输入的创意和需求,快速生成具有吸引力的广告视频片段。满足展示产品细节、营造品牌氛围或讲述品牌故事等多种需求。
- 短视频创作:为短视频创作者提供丰富的素材和高效的制作方式,降低创作成本和时间。
- 剧情创作:支持用户通过输入文本或图片生成连贯的视频片段,为剧情创作提供更多可能性。
- 表情包梗图:用户可以利用智谱清影生成有趣的表情包和梗图,丰富社交互动体验。
五、使用方式
- 用户可以在智谱清言的官方网站或APP端找到AI视频生成功能“清影”。
- 输入文本或上传图片后,选择想要的视频风格和氛围等参数。
- 点击“生成视频”按钮,等待生成完成即可。
六、优势分析
- 生成效率高:生成6秒视频仅需30秒,具有较高的生成效率。
- 风格多样性:提供丰富的视频风格选择,满足用户的个性化需求。
- 技术先进:依托智谱自研的视频生成模型CogVideoX,在技术方面表现出色,针对内容连贯性和可控性等方面进行了优化。