段俊文

副教授 硕士生导师

所在单位:计算机学院

学历:博士研究生毕业

性别:男

联系方式:jwduan@csu.edu.cn

学位:博士学位

在职信息:在职

毕业院校:哈尔滨工业大学

   

研究方向

当前位置: 中文主页 >>研究方向

自然语言处理、文本挖掘


自然语言处理是什么?


     “如果你有十亿美元经费进行一项大项目研究时,你想做什么?”,机器学习奠基人之一迈克尔·乔丹的答案是“我将用这十亿美元专注于自然语言处理”。微软公司创始人比尔·盖茨也曾说“语言理解是人工智能王冠上的明珠”。那么自然语言处理是什么?其到底有何魅力使其受到如此高度的重视与评价?

     自然语言是相对于形式语言而言的,是人类思想交流的工具,我们日常使用的口语和书面语都属于自然语言。而自然语言处理则属于人工智能在语言学上的一个分支,其目的是通过设计算法自动地理解和处理人类语言

     其实自然语言处理离我们并不遥远,甚至我们可能每天都在使用它。例如,当你在搜索框中输入查询词点击搜索到返回查询结果,其背后就涉及分词、实体识别、语义匹配等多项自然语言处理技术。另外现在非常流行的各种语音助手,如小冰,小度等背后也有自然语言理解和自然语言生成等技术的支撑。自然语言处理的典型应用包括:

  1. 机器翻译(例如百度翻译、谷歌翻译等)

  2. 文本分类(将文本划分至不同的类别)

  3. 文本摘要(获得文本的梗概)

  4. 信息抽取(从非结构的文本数据中获取结构化的信息)

  5. ...

当然,随着深度学习的发展和计算机计算能力的提升,自然语言处理还在很多我们之前难以想象的场景中得到应用,例如,机器人参加高考、智能司法系统辅助法官判案、写作机器人自动生成新闻报道和各类报告,甚至参加国家医师资格考试并高分通过。可以看到,自然语言处理已经与金融、医学、司法等各个领域深度融合并开花结果。自然语言处理将迎来她的黄金十年。

     虽然自然语言处理已经取得很大的发展,但是由于人类语言本身的特点和复杂性,仍然存在很多难解的问题,计算机离真正理解人类语言还有巨大的鸿沟。自然语言处理有许多问题等待我们去探索。欢迎有志于自然语言处理的同学与我联系,让我们一起探索自然语言处理的奥秘!


参考:

  1. NLP将迎来黄金十年

  2. 计算语言学与深度学习