AI for Lawyers系列
已開課
2020-07-31
國立清華大學
延續上期循環神經網路(Recurrent Neural Network, RNN)中的Jordan Network與Elman Network模型,本期介紹其他基於RNN原理所提出的模型架構:回聲狀態神經網路(Echo State Network, ESN)、基於時間的反向傳遞演算法(Back Propagation Through Time, BPTT)、長短期記憶模型(Long Short Term Memory, LSTM)、門基循環單元(Gated Recurrent Unit, GRU)、雙向長短期記憶模型(Bi-directional Long Short-Term Memory, BiLSTM)等。透過觀察可以發現,模型的演變往往是在「提出模型」、「發現模型問題」、「提出新模型嘗試克服問題」的試錯(trial and error)迴圈中發展,電腦計算能力的提升則從中扮演推波助瀾的角色。
RNN技術可用於語言建模、語義分析及文本分析等,故本期課程中更深入說明自然語言分析領域的修辭結構理論(Rhetorical Structure Theory, RST)、語義詞嵌入(Semantic Word Embedding)、詞向量(Word-vector encoding)等概念;並詳細介紹生成詞向量的經典語言模型如:Word2vec模型(Skip gram 及CBOW)、GloVe模型(Global Vectors)、fastText 模型、ELMo模型(Embeddings from Language Model)、BERT模型等。但尤應注意的是,縱已出現「語義向量化」技術,語言文字仍有其字面意義及深層意涵,因此詞嵌入結果仍存在著極限及偏見,亦需要對語義向量的優劣進一步評估。
財團法人理律文教基金會著作權所有,非經同意不得翻印轉載或以任何方式重製.
© Lee and Li Foundation., All rights reserved.
Tel: +886- 2-2760-6111 / Fax: +886-2-2756-5111
E-mail: [email protected]
Tel: +886- 2-2760-6111 / Fax:
+886-2-2756-5111
E-mail:
[email protected]