2019年9月18日，英国知名AI公司Emotech 联合华为，在HUAWEI CONNECT 2019全球大会上首发全球第一款多模态AI英语口语教评解决方案，用人工智能技术在多模态领域的突破性成果，赋能英语口语教育，助力教育产业良性发展。
根植于领先的多模态技术及深度学习算法，Emotech开创了更接近人类自然交互模式的AI口语教学及测评解决方案。通过视频及音频等多个模态的整合机器学习，为未来的教学和测评带来变革的契机。本次发布成果在多模识别、评测、反馈及纠错功能突破了现有AI测评精准度及传统英语教学标准化的壁垒，实现了全天候、一对一个性化、精准化教学及测评。
“英语学习重在实际沟通能力，而口语却一直是中国人学习英语的难点。传统的口语教育依赖于外教，但有限的外教资源让企业与消费者不得不付出高昂的金钱和时间成本。今天，英语学习者渴望更高智能、更低成本的口语学习方式，众多教育机构也希望获得更具标准化的知识传授助手”，Emotech创始人庄宏斌表示。
Emotech作为一家领先的AI公司，首次尝试将人工智能中的多模态与主动交互技术应用于英语口语教学及测评。庄宏斌说：“多模态英语助教方案可通过更真实地还原教学测互动场景，从而更高效地协助老师、学生以及教育机构提升学习效果。我们希望通过多模态人工智能与教育的碰撞，和业内各个伙伴一起为提升教学质量，缓解教育焦虑，促进教育公平尽一份力。”
在谈到此次和华为合作时，庄宏斌表示，这是一次非常振奋人心的合作。
“我们第一次接触时双方就非常相信多模态技术会给各个行业带来的变化并确定了合作方向，很荣幸可以跟华为合作，华为云领先的自然语言处理能力跟我们的多模态技术在教育应用场景有很好的结合，华为云首创的AI实践“ABCD模型”： 即算法（Algorithm）、大数据（Big Data）、算力（Computing）和行业智慧（Domain），对这次合作落地有强大的推动力”。
华为云通用AI服务总经理、语音语义创新Lab主任、首席科学家袁晶博士表示，这是一次AI技术领域的强强联合。
“Emotech在语音和多模态AI方面有先进的技术，华为云拥有全栈的AI平台，并在自然语言处理领域有深厚的积累和实践，双方联合研发并取得一定突破，这是个非常好的开始。同时，Emotech对技术的追求和对客户的负责任的态度跟华为是一致的，Emotech对中国和全球市场都有着深入的研究和积累。非常期待我们的产品能够帮助数以千万计的英文学习者，也希望我们能够一起开拓更广阔的国际市场，”袁晶博士说。
Emotech在多模态技术上的领先性也得到了联合国科教文组织（UNESCO）人工智能主席、伦敦大学学院计算统计学和机器学习中心主任John Shawe-Taylor教授的高度评价，他说：“多模态是一种可以接收来自多种感官系统的信息流后进行处理分析的技术，从而让人工智能对周围的世界获得更深入，更真实，也更准确的理解。事实上，调用多个感官来构建对世界的认知，增加对事物的理解，是让人类在出生后能够更快速学习新事物和技能的关键。Emotech巧妙地利用了这个原理，在对话分析中引入了声音和视觉等多个感官维度，有效地分离了噪音等其他环境干扰因素，从而大幅提升了语音的质量。我认为这是非常重要的一项技术，也祝贺Emotech能够给教育应用带来这样有效的机器学习方法。”
超越真人教学，AI比老师更懂你
读出句子，用户就能得到每句话、每个单词、甚至每个音素的发音评分结果；通过视频与音频抓取、回放自读视频，每个不标准的发音都能被精确识别并锁定原因；观看AI助教提供的标准发音示范以及比对，计算机视觉能实时追踪重点强化口型变化，加速口音改进；每一次的学习过程都能被记录下来，并且利用深度学习功能实时获得AI测评报告，为后续个性化针对教育提供基础与动态参考。Emotech的多模态AI英语口语教评解决方案覆盖了英语口语从学习、练习、测评到改进的方方面面。
“作为传统单一模态（语音、视觉）的升级性底层技术，多模态技术能整合语音、文字、空间等多重数据与分析，并结合深度学习，提供更还原人类自然交互的算法与应用”，庄宏斌介绍说。
现有技术纯语音和文字的反馈往往有理解偏差而且效率不高，而多模技术能提供音视频混合的错误点回放和正确发音示例，如真人老师一对一教学，提升学习效率。尤其是在强化学习记忆方面，多模态比单一模态有效性提高了60%以上。
并且，多模态技术彻底解决了传统的纯语音技术对于安静环境的严苛要求、杂音造成的理解偏差、音轨比对效率低等突出问题。它有效提高了发音评测系统（PA）、语音识别（ ASR）的准确率，在给定噪音环境下，与单模态产品相比，它的准确率提高了30%以上。
“如此强大的抗噪能力让机器评测与识别能力将会应用于更多复杂场景，相信该技术对于语言的总结性评估及形成性评估的智能评分精准性会起到强有力的促进作用”，庄宏斌说。
AI赋能英语教育 科技升级美好生活
2015年创立于英国伦敦的Emotech是全球首家致力于多模态与主动交互的AI公司。集合了全球30余名顶尖人工智能领域的科学家、工程师和设计师，以及牛津大学、剑桥大学、伦敦大学学院、帝国理工等顶级院校的优秀博士生和博士后，Emotech被世界权威科技媒体 Techcrunch 选为欧洲最佳创业团队，被英国发展署列为伦敦最佳 AI 公司 。
“Emotech一直致力于改善人类与科技的关系，让科技变得更有温度，”庄宏斌说，“Emotech的多模态技术可以为更多教育机构提供智能化教学升级的软、硬件综合解决方案、降低重复性教学成本、有助于学校、老师、培训机构更好地应对人力、教师发音水平的挑战、降低重复性教学成本。”
袁晶博士（华为云）表示，随着5G以及AI芯片的发展，未来越来越多的场景中可以用到多模态技术。“在口语评测这个场景做深做扎实后，我们接下来也会在一些行业中进行多感官综合应用的探索和尝试，一起打造有竞争力的解决方案，为客户创造价值”。
此前，Emotech的旗舰型产品 OLLY 曾获 4 项 CES 大奖并打破 51 年以来的历史记录。 2019年，Emotech凭借领先的技术、全球软件授权的灵活商业方式荣获由伦敦市长亲授的首届London Business Award。创始人庄宏斌入选 2018 英国最佳亚洲科技之星，同年被授予伦敦最佳华人企业家 。
目前，联合国人工智能主席、伦敦大学学院计算机统计学和机器学习中心的总负责人、欧洲最负盛名的计算机学教授John Shawe-Taylor以及被誉为脑神经领域爱因斯坦的Karl Friston 均为Emotech团队顾问。