深度學習10:BERT模型詞嵌入層、多頭注意力機制、自注意力機制、遮罩多頭注意力機制、位置編碼、局部敏感雜湊、簽名矩陣 蘇豐文 教授
深度學習10:BERT模型詞嵌入層、多頭注意力機制、自注意力機制、遮罩多頭注意力機制、位置編碼、局部敏感雜湊、簽名矩陣 蘇豐文 教授
深度學習10: BERT模型詞嵌入層(token embeddings、segment embeddings、position embeddings)、多頭注意力機制(Multi-Head Attention)、自注意力機制(Self-Attention)、遮罩多頭注意力機制(Masked Multi-Head Attention)、位置編碼(Positional Encoding)、局部敏感雜湊(Locality-Sensitive Hashing, LSH)、簽名矩陣(Signature Matrix)

講座系列

AI for Lawyers系列

講座進程

已開課

講座日期

2020-07-31

講座地點

國立清華大學

單位與講者

講座介紹

2018年Google研究團隊提出BERT模型(Bidirectional Encoder Representations from Transformers)後,BERT模型在史丹佛問答資料集(Stanford Question Answering Dataset, SQuAD)v 1.1中交出不俗成績,於兩類衡量指標上全面超越人類表現,Google也運用BERT以更好地理解使用者搜尋語義。研究BERT時,必須了解關聯的Attention 機制,在 Google團隊2017年發表的論文《Attention Is All You Need》中詳述其原理及應用:RNN固然便於處理序列資料,但缺點在於無法平行運算處理而導致速度緩慢,因此Attention 機制採用權重的方式讓電腦注意它應該注意的部分。
此外,在眾多資料中要如何有效率地篩選相關聯的訊息,或可經由相似度比對流程:局部敏感雜湊(Locality-Sensitive Hashing, LSH)、序列比對(sequence alignment comparisons)、語法剖析(syntactic analysis)三階段達成。在系列課程的最後,講師以IBM Watson人工智慧系統為例,說明縱然Watson已達到使用自然語言來回答問題的程度、且表現更勝於自然人,但其終究仍欠缺社會意識(social awareness),要從「語義理解」跨越至「語用判斷」仍有障礙、在自然語言理解(Natural-language understanding)上仍有進步空間,語用學中的Grice’s Maxims理想溝通模式或可為自然語言理解的衡酌參考。

單位

財團法人理律文教基金會-circle
財團法人理律文教基金會
國立清華大學-Logo
國立清華大學

講者

蘇豐文-square
蘇豐文
教授

寒暑假營隊連結

course_pic_AI-FOR-LAWYERS程式實作課程
清華大學 x 理律學堂《AI FOR LAWYERS程式實作課程》