深度學習9: Word2vec模型、GloVe模型、fastText 模型、ELMo模型、語義向量優劣評估、文句嵌入、BERT模型及BERT-family 蘇豐文 教授
深度學習9: Word2vec模型、GloVe模型、fastText 模型、ELMo模型、語義向量優劣評估、文句嵌入、BERT模型及BERT-family 蘇豐文 教授
深度學習9:Word2vec模型(Skip gram 及CBOW)、GloVe模型(Global Vectors)、fastText 模型、ELMo模型(Embeddings from Language Model)、語義向量優劣評估、文句嵌入(sentence and document embedding)、BERT模型及BERT-family

講座系列

AI for Lawyers系列

講座進程

已開課

講座日期

2020-07-31

講座地點

國立清華大學

單位與講者

講座介紹

延續上期循環神經網路(Recurrent Neural Network, RNN)中的Jordan Network與Elman Network模型,本期介紹其他基於RNN原理所提出的模型架構:回聲狀態神經網路(Echo State Network, ESN)、基於時間的反向傳遞演算法(Back Propagation Through Time, BPTT)、長短期記憶模型(Long Short Term Memory, LSTM)、門基循環單元(Gated Recurrent Unit, GRU)、雙向長短期記憶模型(Bi-directional Long Short-Term Memory, BiLSTM)等。透過觀察可以發現,模型的演變往往是在「提出模型」、「發現模型問題」、「提出新模型嘗試克服問題」的試錯(trial and error)迴圈中發展,電腦計算能力的提升則從中扮演推波助瀾的角色。
RNN技術可用於語言建模、語義分析及文本分析等,故本期課程中更深入說明自然語言分析領域的修辭結構理論(Rhetorical Structure Theory, RST)、語義詞嵌入(Semantic Word Embedding)、詞向量(Word-vector encoding)等概念;並詳細介紹生成詞向量的經典語言模型如:Word2vec模型(Skip gram 及CBOW)、GloVe模型(Global Vectors)、fastText 模型、ELMo模型(Embeddings from Language Model)、BERT模型等。但尤應注意的是,縱已出現「語義向量化」技術,語言文字仍有其字面意義及深層意涵,因此詞嵌入結果仍存在著極限及偏見,亦需要對語義向量的優劣進一步評估。

單位

財團法人理律文教基金會-circle
財團法人理律文教基金會
國立清華大學-Logo
國立清華大學

講者

蘇豐文-square
蘇豐文
教授

寒暑假營隊連結

course_pic_AI-FOR-LAWYERS程式實作課程
清華大學 x 理律學堂《AI FOR LAWYERS程式實作課程》