Ubuntu Linux 架設 Hadoop 單節點測試主機教學

這裡示範如何在 Ubuntu Linux 的環境中,架設單節點 Hadoop 分散式運算的大資料分析測試環境。 Apache Hadoop 是一個分散式計算的架構,可用於巨量資料(big data)的處理與分析,其原理是利用多台電腦組合成為大型的 Hadoop 叢集電腦,以特殊的 HDFS 檔案系統讓大量的資料分散儲存於各個節點中,而在計算與分析資料時,則是使用 MapReduce 等演算法將計算工作分散在各個節點中平行處理,可用於 PB 級以上的資料儲存與分析。 ...

February 21, 2017 · G. T. Wang

ParaView MPI 平行繪圖伺服器編譯、安裝與設定過程紀錄

這裡紀錄在 CentOS Linux 系統上編譯、安裝與設定 ParaView,使用 OpenMPI 打造平行繪圖伺服器的過程。 本篇文章是我個人的工作記錄,由於技術細節太多了,很難完全寫下來,所以只能當作參考用,但我相信如果您想要架設 ParaView 的繪圖叢集電腦,這篇是很有價值的參考資料。 ...

February 17, 2017 · G. T. Wang

Linux 如何用指令查詢 Nvidia 驅動程式版本與 GPU 顯示卡資訊?

這裡介紹幾種在 Linux 系統上使用指令查詢 Nvidia 驅動程式版本以及 GPU 顯示卡資訊的方法。 nvidia-smi 指令工具 Nvidia 所提供的 nvidia-smi(NVIDIA System Management Interface)管理工具可以直接查詢驅動程式與顯示卡的資訊: ...

February 14, 2017 · G. T. Wang

Ubuntu Linux 安裝 Oracle 或 OpenJDK 的 Java JRE 與 JDK 步驟教學

本篇文章介紹如何在 Ubuntu Linux 中以 apt 安裝 Oracle 或 OpenJDK 的 Java 的 JRE 執行環境以及 JDK 開發環境。 Java 是許多應用軟體都會需要的執行環境,而在 Ubuntu Linux 中的 Java 版本主要有兩種,一個是 Oracle 官方的 Java,另外一個是 OpenJDK 開放原始碼的 Java,這兩種 Java 實作版本都有通過 TCK,而且兩者目前主要都是 Oracle 在維護,差異其實不大(請參考 StackOverflow)。 ...

February 7, 2017 · G. T. Wang

Linux 使用 rsync 遠端檔案同步與備份工具教學與範例

本篇介紹如何使用 Linux 的 rsync 同步與備份各種檔案,自動製作快照式累進備份。 rsync 是 Linux 系統上最常被用來複製與備份檔案的工具,它可以處理本機或遠端的檔案同步工作,藉由 rsync 指令可以讓管理者很方便的將兩地的資料同步,不管是同一台電腦或是透過網際網路連線的兩台伺服器,使用方式都類似,以下是 rsync 的使用教學以及常用的指令範例。 ...

February 5, 2017 · G. T. Wang