以動態任務分配為基礎之分散式循序樣本探勘系統
學年 93
學期 2
發表日期 2005-05-28
作品名稱 以動態任務分配為基礎之分散式循序樣本探勘系統
作品名稱(其他語言)
著者 張昭憲; 周定賢
作品所屬單位 淡江大學資訊管理學系
出版者 臺北縣新莊市:輔仁大學資訊管理學系
會議名稱 第十六屆國際資訊管理學術研討會:企業創新與IT創新之間的連結:機會發現=The 16th International Conference on Information Management
會議地點 臺北縣, 臺灣
摘要 循序樣本探勘(sequential pattern mining)可從資料庫找出經常出現的樣本, 而且指出樣本中各項目出現的時序,其複雜度遠高於關聯規則式的菜籃分析 (Market Basket Analysis)。針對循序樣本探勘目前已有許多方法被提出 [1,10-16],然而,面對日益膨脹的資料庫,這些方法的效能再次受到挑戰。為 有效改善大型資料庫的探勘效率,利用網路結合多部電腦的分散式探勘 (distributed mining)便開始受到重視[2][4]。為加速大型資料庫的循序樣本探 勘,本研究以分散式架構為基礎研製有效的探勘演算法,並據以發展實用的探勘 系統。首先,本研究提出任務佇列(task queue)的概念,有效結合靜態與動態任 務分配之優點,不但可減輕靜態分配的任務歪斜問題,亦能降低動態分配頻繁的 通訊負擔。其次,為使探勘完成後之結果彙整更有效率,本研究也充分利用閒置 節點來進行探勘結果整合。此外,我們特別採用PrefixSpan[1]做為基礎演算法 ,以便有效控制任務間的獨立性。為評估系統效能,我們分別使用2、4、8、 16及32部電腦進行分散式探勘實驗,數據顯示本系統不但能有效降低探勘時間, 同時具有良好的加速比(speedup ratio)。此結果驗證了提出方法之有效性,也 顯示本系統處理大型資料庫之潛能。
關鍵字 資料探勘;分散式架構;循序樣本探勘;關聯規則;Data mining;Distributed architecture;Sequential pattern mining;Association rules
語言 zh_TW
收錄於
會議性質 國際
校內研討會地點
研討會時間 20050528~20050528
通訊作者
國別 TWN
公開徵稿 Y
出版型式 紙本
出處 第十六屆國際資訊管理學術研討會論文集:企業創新與IT創新之間的連結:機會發現=Proceedings of the 16th International Conference on Information Management,12頁
相關連結

機構典藏連結 ( http://tkuir.lib.tku.edu.tw:8080/dspace/handle/987654321/23055 )

機構典藏連結

SDGS 尊嚴就業與經濟發展,產業創新與基礎設施