文/刘俊寰、曹培信、牛婉杨
来源：大数据文摘（ID:BigDataDigest）
疫情带火了线上教育，也把一批老师逼成了“主播”。
为了给在家上课的同学们的同学们更好的学习体验，老师们煞费苦心，各种线上直播软件齐上阵。不过，学生还没开始抱怨，老师倒是先把苦叫上了天，纷纷表示“当主播这么不容易”。
最近，上海大学开启在线教学，为了提高学生上课的积极性，根据澎湃新闻报道，上海大学数码艺术系副主任、副教授蒋飞把他的《动态构成》这门在线教学直播课玩出了花。
作为一名给艺术系学生讲授计算机编程的老师，他担心课程太枯燥学生不愿意看，于是利用虚拟现实和增强现实技术，把自己的课堂搬进了二次元，“变装”上课，从动作到嘴形都可以实时同步动漫人物。
利用技术手段，不仅可以在二次元里感受更加有代入感的“课堂”环境，还可以让同学自行选择各种讲课的动画人物，从萌妹子到机械人，应有尽有。
图片来自澎湃新闻
如果学生们选择了二次元萌妹子，上课的画风瞬间就会变成这样👇，上课的学生对此惊讶连连赞不绝口，网课的听课率也显著提高。
图片来自澎湃新闻
近日，蒋飞老师也在澎湃新闻的采访视频中说明了自己为何萌生了这样的想法，又是如何“变装”萌妹子上课的，快和文摘菌一起来看看吧~
其实，在做增强现实的网课之前，蒋飞也遇到了上述难题，就是老师辛辛苦苦录制了网课，但是课程上线后，并不是所有的学生都看了。
于是，为了让同学们更轻松也更容易地进行学习，也为了更好地给艺术系的同学们讲解计算机编程的相关知识，他利用了双目摄像头，再结合了自己开发的软件，完成了在线“变装”，在这个系统完成后，蒋飞表示，“学生上课的积极性，还有作业质量的提高有明显的进步”。
甚至，蒋飞发现，有不少学生会提前完成录播课的学习，提前上交作业，到了课堂讨论环节，学生会提出超纲问题。因此他现在也需要根据同学们的学习情况实时调整授课进度。
“这也是因课制宜，我的课程讲计算机方面的艺术，很多设计用到编程，非常适合网上教学。”蒋飞说，录播课可以反复回看，直播课用来答疑互动，虚拟替身就是在这时出现。
图片来自澎湃新闻
一开始，只有本科毕业设计课上会用到“变装”设备，但是研究生知道这个情况后，也纷纷“上书”要求老师这样上课。如今，蒋飞已经优化了软件，能够实现虚拟替身的流畅运行了。
“线下上课仍以老师为中心，线上教学以学生为中心，我的造型都是学生帮选的。”谈到线上教学，蒋飞认为，这也是对老师的一种挑战，老师的压力更大了，“我感觉上了一个小时的线上，相当于两个小时的线下，真的是成倍的增加”。
双目摄像头捕捉人体，自制软件合成动画
生成这样的虚拟替身一共需要两个步骤，一是通过视频捕捉老师的肢体动作；二是通过软件将实时监测出的人体数据通过软件与虚拟形象进行匹配，生成动画。
传统的人体动作捕捉一般用于影视制作，在一些科幻片的拍摄花絮上，我们经常可以看到绿幕前的演员身上绑了许多小球，这些小球就是一种传感器，可以将位置状态实时传输到计算机中用于后期合成。
这种方式尽管比较精确，但是过于复杂，蒋飞老师采取的是利用双目摄像头来捕捉肢体动作。
双目摄像头可以在同一场景下拍摄左右两幅图像，运用立体匹配算法获取视差图，进而获取深度图，而后通过景深图对二维图像进行三维重建。
当然，蒋飞老师的目的是将身体动作同步到动画人物上，因此也不需要进行完整的三维建模，而只需要通过视频定位自己的身体部位，即基于双目视觉构建人体动作捕捉系统，一种可行的方法是基于颜色特征的 Camshift 算法对人体关节进行追踪，结合 Kalman 滤波提高抗干扰性。
当然，现在也有各种深度学习模型可以提供基于视频的人体姿态估计，并且不需要双目视觉，普通摄像头也可以完成，主要是通过大量已标记的视频数据进行模型训练，从而让模型可以仅凭二维图像就可以捕捉人的关键关节（肘部、手腕、膝盖等）。
从 DeepNet 到 HRNet，文摘菌也曾经对基于深度学习的“人体姿势估计”进行了梳理，感兴趣的同学可以回顾一下。
第二步便是将检测到的人体数据与动画人物相匹配，这个需要相应的软件，Adobe 公司出品的 CharacterAnimator 就可以将人体的动作实时投射到动画人物，但是却不能实时运行，只能用于后期。
蒋飞老师是通过自己制作的软件完成的这一步，并且进行了优化，这个软件要将接收到的双目摄像头的视频数据转化为人体姿态数据，再对虚拟人物进行实时渲染，还要合成到课堂环境中，这个难度还是不小的。
近年来，我国线上教育风生水起
这次变装“萝莉”的老师蒋飞是上海大学美术学院数码艺术系副主任、美国麻省理工媒体实验室访问教授、中国工业设计协会信息与交互设计专业委员会委员。他从事的研究方向正是数字媒体艺术与信息与交互设计，始终致力于打造技术与艺术融合的复合型人才，认为学生们应该有良好的艺术素养和独特的个人创意。
蒋飞曾公开表示过，跨学科合作应该是高校数字艺术发展的一个方向，因为数字媒体人才是复合型人才，除了要求从业者有熟练的操作技巧之外，更要求从业者有良好的艺术素养和独特的个人创意，技术教育应与文化、艺术融合。创新型数码艺术人才要求数字制作相关人员既要具有人文艺术修养，又要能够运用最新的数字制作技术手段。
这次疫情期间，蒋飞通过“变装”的方式为同学们上网课，讲技术和媒介完美结合，也是对自己的教学理念做出了最直接的实践。
其实近年来，用技术辅助内容的线上教育也是风生水起，比如去年北京邮电大学就开通了虚拟课堂，采用5G＋4K 全息投影的方式远程直播授课。
去年 9 月 16 日，北京邮电大学全息投影远程直播教室首次正式上课。在沙河校区由芦鹏飞老师主讲的诺贝尔物理学奖简史课程以全息投影的方式与西土城校区的同学们见面了。
北邮的这次全息投影远程直播授课主要有两个特色，一是凭借 5G 低时延、高速率特性实现的 4K 影像实时传输，二是全息投影带来的全新体验。
芦鹏飞老师在沙河校区现场授课
西土城校区呈现的实时全息影像
线上的同学们看到的课堂
基于 5G 技术实现的 4K 全息影像传输非常流畅，上课过程中几乎没有出现卡顿现象，相当惊艳。但是，全息投影技术还没有尽善尽美，依旧有很大的发展空间。
去年 12 月 20 日，北邮又表示可以在线上学数学了！
李鹤老师站在蓝色的幕布前，生动的讲着拉格朗日中值定理，面前却没有一位学生。没错，大家都在屏幕前！
授课中的李老师
同学们看到的课堂
不仅可以在寝室看直播学习，直播结束后还可以看回放哦~北邮的同学们对虚拟课堂赞不绝口，同时也充满了期待：
“全息影像授课非常新颖，而且比传统的视频远程授课更加真实。”
“感谢李老师生动精彩的讲评，很多思路都对我有极大的帮助，希望今后可以看到更多新技术与教学的融合应用，不断带给我们更好的课程体验！”
通过这次疫情采取的线上学习，让我们感受到老师们的努力与敬业，同时也让我们看到了未来网课的无限潜力。科技和教育一直是相辅相成的两个方向，可以推动彼此向更好的方向发展。
如果未来的网课都能做到生动形象，智趣兼备，让学生体会到学习的趣味性，那么这样的网课，谁能不爱呢？