Python 使用 requests 模組產生 HTTP 請求,下載網頁資料教學

本篇介紹如何在 Python 中使用 requests 模組建立各種 HTTP 請求,從網頁伺服器上取得想要的資料。 如果想要使用 Python 來下載網頁上的資料,最基本的作法就是以 requests 模組建立適當的 HTTP 請求,透過 HTTP 請求從網頁伺服器下載指定的資料,這種方式雖然步驟比較繁瑣,也需要一點通訊協定的基礎,但是絕大部分的網路爬蟲或除錯問題都可以靠這個架構解決,是資深網路程式設計師必備的工具之一。 ...

January 26, 2018 · G. T. Wang

Excel WEBSERVICE 與 FILTERXML 函數自動下載網頁資料,網路爬蟲程式教學

這裡示範如何使用 Excel 的 WEBSERVICE 自動下載網路上的資料,並藉由 FILTERXML 函數萃取出有用的資訊,即時顯示於 Excel 表格內。 許多人應該都聽過網路爬蟲程式,它可以自動下載網路上的資料,並萃取出有用的資訊,幫使用者省下手動抓資料的時間,而在 Excel 中其實也有內建類似的功能,只不過使用上需要一些技巧,以下是在 Excel 中開發爬蟲程式的簡單教學。 ...

January 26, 2018 · G. T. Wang

Linux 使用 wget 指令自動下載網頁檔案教學與範例

這裡介紹如何在 Linux 中使用 wget 指令,自動從網路上下載各種的網頁、檔案或目錄。 wget 是一個功能強大的自動檔案下載工具,在大部份的 Linux 系統上都會內建這個指令,其支援各式各樣的下載方式,以下將介紹 wget 的使用方式,以及各式各樣的指令稿範例。 ...

August 25, 2017 · G. T. Wang

使用 ss 指令檢查 Linux 網路 Socket 狀態資訊教學

這裡介紹如何在 Linux 系統中使用 ss 指令檢測網路的狀態,並提供許多常用的指令範例。 在 Linux 中若要檢查系統的 socket 狀態,除了使用最傳統的 netstat 指令之外,還有一個 ss 指令也可以達到類似的功能。 ...

July 25, 2017 · G. T. Wang

iPerf3 網路速度測試教學,頻寬檢測指令工具

本篇介紹如何使用 iPerf3 這個網路速度測試工具,在各種作業系統與手機上檢測網路的頻寬。 iPerf3 是一個網路頻寬測試指令工具,支援 IPv4 與 IPv6 網路位址與 TCP、UDP、SCTP 傳輸協定,可在 Windows、Mac OS X、Linux、FreeBSD 與手機等各種平台使用,是一個簡單又實用的小工具。 ...

July 15, 2017 · G. T. Wang