播放清單
1/1 影片
網路爬蟲的基礎觀念與情景實作 吳姿伶助教
網路爬蟲的基礎觀念與情景實作
單位與講者
- .主辦單位:財團法人理律文教基金會、東吳大學
- .主講人:吳姿伶 小姐
講座介紹
網路爬蟲(web-crewler)是讓程式模擬人類操作電腦的行為,即「由用戶端向伺服器端提出請求,再由伺服器端回傳回應給用戶端」的過程,此過程透過電腦自動化後,能大量搜集特定資料。其中,爬蟲常用的套件包含:Requests、Urllib、Beautiful Soup、selenium,分別有不同的功能及特性。使用爬蟲時也有一些注意事項,例如請求應設定休息函數間隔、爬蟲的範圍、遵照Robots協議和網站規則等。完成所需資料的爬取後,可進一步的進行資料清整,最終以Excel、資料庫、TXT純文字等方式完成儲存。