自然语言处理是什么?
“如果你有十亿美元经费进行一项大项目研究时,你想做什么?”,机器学习奠基人之一迈克尔·乔丹的答案是“我将用这十亿美元专注于自然语言处理”。微软公司创始人比尔·盖茨也曾说“语言理解是人工智能王冠上的明珠”。那么自然语言处理是什么?其到底有何魅力使其受到如此高度的重视与评价?
自然语言是相对于形式语言而言的,是人类思想交流的工具,我们日常使用的口语和书面语都属于自然语言。而自然语言处理则属于人工智能在语言学上的一个分支,其目的是通过设计算法自动地理解和处理人类语言。
其实自然语言处理离我们并不遥远,甚至我们可能每天都在使用它。例如,当你在搜索框中输入查询词点击搜索到返回查询结果,其背后就涉及分词、实体识别、语义匹配等多项自然语言处理技术。另外现在非常流行的各种语音助手,如小冰,小度等背后也有自然语言理解和自然语言生成等技术的支撑。自然语言处理的典型应用包括:
机器翻译(例如百度翻译、谷歌翻译等)
文本分类(将文本划分至不同的类别)
文本摘要(获得文本的梗概)
信息抽取(从非结构的文本数据中获取结构化的信息)
...
当然,随着深度学习的发展和计算机计算能力的提升,自然语言处理还在很多我们之前难以想象的场景中得到应用,例如,机器人参加高考、智能司法系统辅助法官判案、写作机器人自动生成新闻报道和各类报告,甚至参加国家医师资格考试并高分通过。可以看到,自然语言处理已经与金融、医学、司法等各个领域深度融合并开花结果。自然语言处理将迎来她的黄金十年。
虽然自然语言处理已经取得很大的发展,但是由于人类语言本身的特点和复杂性,仍然存在很多难解的问题,计算机离真正理解人类语言还有巨大的鸿沟。自然语言处理有许多问题等待我们去探索。欢迎有志于自然语言处理的同学与我联系,让我们一起探索自然语言处理的奥秘!
参考:
NLP将迎来黄金十年
计算语言学与深度学习