RHadoop 以 MapReduce 實作 K-Means 分群演算法範例

本篇敘述如何使用 RHadoop 的 MapReduce 實作 k-means 分群演算法。 在架設好 RHadoop 計算環境之後,接著就可以使用 MapReduce 撰寫各種分析程式,以下是用 MapReduce 實作 k-means 的 R 程式碼。 這個 k-means 範例只是用來示範 MapReduce 的實作方法,程式碼比較簡單,不適合在實際的應用上使用。 ...

May 3, 2017 · G. T. Wang

RHadoop 計算環境架設教學與使用範例程式碼

本篇介紹如何手動架設 RHadoop 計算伺服器,並使用 RHadoop 相關套件進行巨量資料分析。 RHadoop 是由 Revolution Analytics 所發展的 R 套件集,可讓 R 使用者更方便的使用 Hadoop 分析巨量資料,適用於 Cloudera、Hortonworks 等 Hadoop 發行版,以下是基本的 RHadoop 計算環境架設流程、MapReduce 用法與簡單的範例程式碼。 ...

May 2, 2017 · G. T. Wang

Bash 程式設計教學:平行執行背景子行程,用 wait 等待工作結束

本篇介紹在 Bash shell 中如何使用 wait 等待背景子行程的執行,並取回每個行程執行結果。 在 shell 程式設計中,為了讓程式執行起來更有效率,有時會讓多個子行程(subprocess)以 spawn 的方式放在背景執行,平行處理多項不同的工作,通常將需要等待硬碟 I/O 或網路回應的工作放在背景,可以程式執行的速度加快很多。 ...

March 25, 2017 · G. T. Wang

Guetzli 開放原始碼 JPEG 圖片壓縮編碼器

本篇介紹如何使用 Guetzli 壓縮大量圖片,並比較 Guetzli 與 TinyPNG 的壓縮結果。 Guetzli 是一套由 Google 所開發的 JPEG 圖片壓縮演算法,與現有的 libjpeg 相比,可將高品質的圖片大小減少 20% 至 30% 左右,並且完全相容於現有的瀏覽器與各種應用程式,因此若應用於網頁的圖片壓縮上,可以大幅降低資料傳輸量,增進網頁載入速度。 ...

March 21, 2017 · G. T. Wang

C/C++ 語言測量時間函數,評估程式執行效能方法整理

這裡整理了 C/C++ 中各種測量時間的函數與用法,並提供完整的範例程式碼,讓程式開發者方便測量程式執行速度。 這裡我蒐集了一些在 C/C++ 中常見的程式執行速度測量方式,因為時間的量測方式與細節非常多,這裡只是簡單寫一些常用的方式與範例。 ...

March 19, 2017 · G. T. Wang