EbSynth背后的技术采用了“基于示例的合成”技术(虽然我们也把它作为插件整合到Stable Diffussion里,然而它严格意义上来说,不是基于AI的技术)。这意味着用户提供一个视频和一个绘制的关键帧(作为风格的示例),EbSynth将这个画面分解成许多小块,像拼图一样,然后使用这些小块来组合(合成)剩余的视频帧。EbSynth始终只使用艺术家绘制的内容,并不引入关键帧中未展示的新元素,这样艺术家就可以控制最终动画的视觉风格。
产品特色
- 保留细节:EbSynth在风格化视频帧时,能够保留纹理的一致性、对比度和高频细节。
- 艺术家控制:通过修改关键帧中的小细节,艺术家可以改变最终动画的视觉风格。
- 多关键帧支持:有时候一个关键帧就足够了,但通常需要更多,并且需要保持一致性。EbSynth允许使用多个关键帧来提高合成的准确性。
- Alpha通道处理:EbSynth可以处理Alpha通道,提供透明背景的结果,方便将前景与背景分开处理。
基本用法
- 选择关键帧:选择一个尽可能展示场景多的关键帧,并对其进行绘制或编辑。
- 与视频帧匹配:确保绘画尽可能与视频帧匹配。不匹配的地方可能导致制作出来的动画出现不良效果。
- 处理多个关键帧:有时需要多个关键帧以确保一致性。可以利用EbSynth合成的第一次运行结果中的“破碎”帧作为新的关键帧。
- 混合多个关键帧:完成多个关键帧的合成后,需要将它们混合在一起。EbSynth可以将项目导出到After Effects,并准备初始的交叉淡入淡出,供进一步编辑。
开发历程与挑战
EbSynth的开发面临了许多技术挑战,如细节保留、时间连贯性和处理速度等。Secret Weapons公司希望将EbSynth推广给艺术家,并看看他们是否觉得它有用。基于反馈,他们不断改进产品,推出了更快速、更用户友好的Beta版本,并计划发布具有全新交互式用户界面的EbSynth 1.0版本,以使工作流程更加流畅高效。
总的来说,EbSynth是一款创新的视频风格转换工具,它使艺术家能够将自己的绘画风格应用到视频上,创造出独特且具有艺术性的动画作品
项目官网:点击进入。