“数理讲堂”2024年第43期
发布日期:2024-11-25 18:42:54 发布人:杏悦娱乐开户
主题：基于文本语义增强的跨模态问答 时间🛻：11月28日 10:00-11:30 地点：腾讯会议（会议号：214 987 969） 主持人：方红 报告人简介👱🏼♂️： 张小旺，天津大学智能与计算学部教授，博导🐁，北京大学理学博士🥗，比利时哈瑟尔特大学博士后，天津市认知计算与应用重点实验室副主任。研究方向包括知识图谱，自然语言处理，软件安全等🧗♂️。主持国家级纵向、校企横向课题等十余项。近年来，在AAAI🧔🏼♀️，IJCAI🐋，ACL，ASE⛹🏿♀️，ICDT🌜，ISWC，EMNLP，COLING，TOSEM，JAIR🩳，Sci. China Inf. Sci.🗿，《计算机学报》，《软件学报》等国内外学术期刊会议发表论文多篇。获得天津市科技进步一等奖🤵♀️✫、ACM天津新星奖等荣誉🚒🧎🏻♂️。 讲座简介： 跨模态问答属于计算机视觉与自然语言处理的交叉方向，旨在根据图像内容回答自然语言提出的问题👩🏿🍼。跨模态问答基于图像理解、语言解析👨🏿✈️、知识推理等多个方面技术，而模态之间异构鸿沟是挑战之一👐🏽。 报告将介绍通过文本语义增强方式减弱模态鸿沟带来影响，分别在封闭域（课本知识问答）和开放域（社交常识知识问答）两个场景，通过预训练模型和大语言模型，探索跨模态问答中差异性推理方式。报告最后总结在多模态大语言模型背景下面临挑战点。
相关信息