AI for Lawyers系列
已開課
2020-07-31
國立清華大學
2018年Google研究團隊提出BERT模型(Bidirectional Encoder Representations from Transformers)後,BERT模型在史丹佛問答資料集(Stanford Question Answering Dataset, SQuAD)v 1.1中交出不俗成績,於兩類衡量指標上全面超越人類表現,Google也運用BERT以更好地理解使用者搜尋語義。研究BERT時,必須了解關聯的Attention 機制,在 Google團隊2017年發表的論文《Attention Is All You Need》中詳述其原理及應用:RNN固然便於處理序列資料,但缺點在於無法平行運算處理而導致速度緩慢,因此Attention 機制採用權重的方式讓電腦注意它應該注意的部分。
此外,在眾多資料中要如何有效率地篩選相關聯的訊息,或可經由相似度比對流程:局部敏感雜湊(Locality-Sensitive Hashing, LSH)、序列比對(sequence alignment comparisons)、語法剖析(syntactic analysis)三階段達成。在系列課程的最後,講師以IBM Watson人工智慧系統為例,說明縱然Watson已達到使用自然語言來回答問題的程度、且表現更勝於自然人,但其終究仍欠缺社會意識(social awareness),要從「語義理解」跨越至「語用判斷」仍有障礙、在自然語言理解(Natural-language understanding)上仍有進步空間,語用學中的Grice’s Maxims理想溝通模式或可為自然語言理解的衡酌參考。
財團法人理律文教基金會著作權所有,非經同意不得翻印轉載或以任何方式重製.
© Lee and Li Foundation., All rights reserved.
Tel: +886- 2-2760-6111 / Fax: +886-2-2756-5111
E-mail: [email protected]
Tel: +886- 2-2760-6111 / Fax:
+886-2-2756-5111
E-mail:
[email protected]