全方位 Python 網路爬蟲實戰大師班:實戰技能與完整應用
程式設計
課程介紹
您將能學習到
- 如何建立網路爬蟲基本工具和環境
- 使用BeautifulSoup進行HTML解析
- 使用Selenium自動化瀏覽器操作
- 使用Python中的Pandas套件進行數據處理和分析
- 認識和利用Chrome開發者工具解析網頁
- 如何有效地抓取和整理網路數據
- 學習在不同網站上抓取不同類型的數據
- 使用Playwright自動生成網路爬蟲程式碼
- 應用Plotly視覺化來解讀和呈現收集到的數據
- 如何應對網站反爬蟲機制
- 使用Google Trends抓取和分析熱門話題和搜尋趨勢
- 利用博客來數據進行大數據分析,包括書籍評分和新書發布頻率
- 應用網路爬蟲技術抓取電商產品資料,分析產品特徵和市場需求
- 使用Google Map爬蟲抓取旅遊景點、咖啡廳和餐廳資訊,精確擷取評分和評論數據
- 抓取和分析多個國家各城市的便宜機票價格
課程大綱
第1章:網路爬蟲基礎、環境建置與數據處理
在這一部分,我們將從最基本的開始,探索網路爬蟲的世界。首先,我們將學習如何使用Python和相關庫來發起網路請求,並解析HTML文件來提取所需數據。您將學會使用BeautifulSoup和Selenium這兩個強大的工具,來解析和自動化瀏覽網頁。同時,我們將深入Chrome開發工具,以及建立您理想的開發環境,確保順暢的工作流程。
第2章:Google Trends 熱門話題爬蟲
第3章:電商爬蟲-市場調查
在電商市場調查部分,我們將探索如何從momo電商網站上提取產品連結清單,並抓取詳細的產品資料。這包括多頁面數據抓取和使用Selenium自動化遍歷網頁的技巧。最後,我們將使用Plotly進行數據分析,包括品牌商品總數、銷售量和價格分佈的洞察,幫助您深入了解市場動態。
第4章:博客來爬蟲與大數據分析
博客來作為台灣最大的網上書店,有豐富的書籍資料。本章節將帶您揭開博客來的數據世界,從提取書籍ID清單到抓取各類書籍的詳細資料。我們將深入挖掘書籍資訊,並將所有數據整合至Excel表格中。最後,利用Plotly進行數據分析,包括評論與評分統計、書籍分類分佈及新書趨勢分析。
第5章:便宜機票爬蟲
在本章節中,我們將探索如何使用Playwright自動化生成機票爬蟲程式碼,以及抓取各城市的最便宜機票價格。您將學會一次性抓取多個國家各城市的機票信息,並利用Plotly將這些數據視覺化,使各目的地的便宜機票一目了然。
第6章:Google Map 旅遊景點、咖啡廳、餐廳爬蟲
在這一章節中,我們將使用 Selenium 進階操作技巧,高效抓取 Google Map 上的旅遊景點、咖啡廳和餐廳資訊。我們將解析和整理這些數據,並使用 Plotly 進行視覺化,展示景點、咖啡廳和餐廳的評分排名和位置分佈。
補充章節1:Python 程式基礎
本章節涵蓋程式開發環境建立、變數和資料型態、流程控制、常用容器型態、函式模組和套件、檔案讀寫、例外處理 (try-except) 及物件導向設計,為後續學習打好基礎。
補充章節2:HTML & CSS 基礎
課程優惠
獲取我們Python線上課程的【限時折扣碼】,點擊這裡!