首页
登录 | 注册

UWP 手绘视频创作工具技术分享系列 - 有 AI 的手绘视频

AI(Artificial Intelligence)正在不断的改变着各个行业的形态和人们的生活方式,图像识别、语音识别、自然语言理解等 AI 技术正在自动驾驶、智能机器人、人脸识别、智能助理等领域中发挥着越来越重要的作用。

那么当手绘视频遇到 AI,有 AI 的手绘视频领域,有 AI 的 UWP 手绘视频创作工具,会发生些什么呢?我们从12月23日的一次发布会开始讲起吧:

2018年短视频新生态峰会暨来画新品发布会

UWP 手绘视频创作工具技术分享系列 - 有 AI 的手绘视频
 UWP 手绘视频创作工具技术分享系列 - 有 AI 的手绘视频

在本次发布会上,来画视频发布了正式上线的 iOS Android 手绘视频 App 和一系列新功能,二更、同道大叔、Prezi 创始人等也带来了短视频行业的精彩分享,而在 AI 方面,更是发布了两大核心功能:智能配音和智能绘画。

众所周知,在视频中,图像和声音是最重要的两个因素,而对应到手绘视频中,则是配音和手绘素材:

1. 配音

首先来说配音,在配音方面,来画与科大讯飞进行了深度合作。科大讯飞是国内外语音识别和语音生成领域领先的人工智能公司,而本次合作也是科大讯飞在短视频领域的首次尝试,双方都对本次合作寄予了很高的期待。过往大家想制作一个短视频时,配音需要专业配音人员完成。因为我们很多人的声音或者对语速、语音的控制完成不了专业的要求。但依靠来画和科大讯飞完成的智能配音功能,如下图的操作方式,用户只需要输入简单的文字以及你想使用谁的声音。比如葛优、林志玲或者其他人的声音,可以设置基本语速,还可以做相应停顿,就可以一键生成视频中需要的配音,把它结合到手绘视频中。

由于手绘视频不像拍摄视频那样对配音的音画同步要求那么严格,我们在实现时更多的是针对手绘视频的每个分镜头进行配音生成,让每个分镜头的配音是和当前画面同步的。针对每个分镜头,可以设置不同的语音来源,不同的语速,配合转场动画设置不同的停顿时间。

在技术实现上,借助科大讯飞的 tts 技术,获得每个分组的 mp3 语音文件,在手绘视频预览和生成时,把多个 mp3 文件合成到视频文件的音轨中,设置不同的音量和语音开始时间、语音长度等信息。为保证语音生成的成功率(时长和同步方面),在输入文字后,可以根据文字数量,以及设置的语速和停顿时间,来预估语音的时长,减少反复转换尝试。

UWP 手绘视频创作工具技术分享系列 - 有 AI 的手绘视频

2.  手绘素材

在中国,有数亿的手绘爱好者,大家渴望用手绘视频的方式来表达自己的感受。但是苦于绘画基础的差异,很多人没办法很顺利的完成手绘视频的创作。
为此,目前来画视频平台积累了大量的手绘素材,拥有丰富的标签和精准的分类,让用户可以随心的选择。
尽管如此,来画还在不断探索更好的技术方式来满足用户对手绘素材的需求,降低创作门槛。而这种技术方式就是来画的 AI。
来画 AI 由三部分组成:手绘路径的智能识别、智能优化和智能生成。
这是一个不断递进的过程,当用户绘制一段路径时,来画 AI 算法可以识别和理解路径,推荐出最符合用户想法的分类素材供选择,选择后还可以做智能填色等后续处理。比如用户在画类似圆形的路径,AI 可以识别为圆,球形,水果等;而在用户画了两个圆形,再去画一个梯形时,AI 会认为你想画一辆汽车。这就是我们目前研发完成的智能识别功能,它可以极大降低用户创作素材的时间和难度。
而更进一步,当用户绘制一段路径,比如曲线时,AI 算法识别和理解路径,并对曲线中有偏差的部分路径做出局部纠正和优化,这样可以在降低创作时间难度的基础上,极大的保留用户的手绘内容和风格。
最终,我们要实现的是 AI 自动绘画,你只需要告诉 AI 你想画的内容,AI 就可以依照对该用户绘制风格的理解和评定,自动完成整副画作的绘制,包括整体画风、路径、颜色填充等。这样的来画AI,能够极大的降低用户创作素材的时间和难度,让所有没有绘画基础的人,也可以快速的完成高质量的属于自己的手绘视频创作,这才是来画 AI 要实现的目标。

UWP 手绘视频创作工具技术分享系列 - 有 AI 的手绘视频

在技术实现方面,智能识别是图像识别的深度学习,具体说是手绘草稿的识别范畴;在算法模型的训练方面,我们对接近 400 个分类的 4000w 个 SVG 数据进行了数据清洗和标注、训练,目前算法对于常见图形的识别效果很好,随着这一功能的上线,后面也会加强更多分类的数据采集和训练工作;而智能优化和智能生成,除了对于草稿的图像识别,还有对于绘制图形的路径理解和目标图形的路径理解,这也是后面突破的重点方向。

结合了配音功能和手绘素材智能识别的 UWP 来画视频将会在接下来发布,欢迎大家下载使用,多提宝贵意见。

对这两个方面感兴趣的朋友,欢迎和我交流,谢谢!


相关文章

  • 快三个月没写博客了,一直在忙着准备面试和去面试的路上,所以没时间写,也没什么想写的.现在告一段落,就总结一波! 面经 本人真的是双非一本.为什么加“真的”?因为有的人也写着"双非一本,进入阿里",但是某电子科技大学,比9 ...
  • 补习系列(20)-大话 WebSocket 与 "尬聊"的实现
    目录 一.聊聊 WebSocket 二.Stomp 是个什么鬼 三.SpringBoot 整合 WebSocket A. 引入依赖 B. WebSocket 配置 C. 控制器 D. 前端实现 四.参考文档 一.聊聊 WebSocket 从 ...
  • 每日分享!~ 使用js原生方式对拖拉元素(鼠标的事件)
    一个元素放置页面上.如何进行拖拉,实现想放哪里就放哪里的效果呢? 效果如下:   如果让你写这个效果,你会如何写呢?  --- 思路分析:我首先想到的是,对这个元素先绑定一个事件.(什么事件? 那当然是鼠标按下时的事件啦? )   那么绑定 ...
  • 前言:取得成功的要自律!可能有一腔热血,努力很长一阵子,但过一阵子之后,就不坚持了,所以要自律去约束自己时刻坚持着! 一.收获 8月份的收获还是很大的,主要有以下几个方面: 学会了使用github 注册账号很长时间了,但不怎么会用,这个月, ...
  •   中间件是被用到管道(pipeline)上来处理请求(request)和响应的(response). asp.net core 本身提供了一些内置的中间件,但是有一些场景,你可能会需要写一些自定义的中间件.   1. 创建一个中间件组件的 ...
  • asp.net core系列 60 Ocelot 构建服务认证示例
    一.概述 在Ocelot中,为了保护下游api资源,用户访问时需要进行认证鉴权,这需要在Ocelot 网关中添加认证服务.添加认证后,ReRoutes路由会进行身份验证,并使用Ocelot的基于声明的功能.在Startup.cs中注册认证服 ...

2020 cecdns.com webmaster#cecdns.com
12 q. 0.074 s.
京ICP备10005923号