基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)
2024-01-12
本發(fā)明涉及一種基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)。其中,該方法包括:輸入篩選抽取信息,判斷篩選抽取信息是否合法,在MapReduce框架下,初始化并解析篩選抽取信息,讀取待篩選數(shù)據(jù)中每一行數(shù)據(jù)記錄并進入map處理階段,根據(jù)輸入分隔符分隔數(shù)據(jù)記錄,并判斷待篩選數(shù)據(jù)是否包含篩選條件信息,若包含則進行數(shù)據(jù)篩選并獲得對應的數(shù)據(jù)字段,若不包含則不篩選;判斷待篩選數(shù)據(jù)是否包含抽取字段信息,若包含則對對應數(shù)據(jù)字段進行抽取并輸出至輸出路徑。本發(fā)明通過統(tǒng)一的輸入格式接口,高效的實現(xiàn)了用戶數(shù)據(jù)篩選需求,針對各種復雜多樣的數(shù)據(jù)篩選需求,避免開發(fā)人員頻繁的編寫不同的篩選抽取程序,提高數(shù)據(jù)處理任務效率,節(jié)省開發(fā)成本。
一種基于MapReduce的數(shù)據(jù)篩選抽取方法,其特征在于,包括以下步驟:篩選抽取信息輸入步驟,輸入篩選抽取信息,所述篩選抽取信息包括:數(shù)據(jù)的輸入路徑、篩選需求信息、數(shù)據(jù)的輸出路徑,所述篩選需求信息包括輸入分隔符、篩選條件信息、抽取字段信息和輸出分隔符;合法性判斷步驟,判斷所述篩選需求信息是否為空,若不為空,則判斷所述篩選需求信息是否為json格式,若為json格式,則判斷所述篩選需求信息是否符合預設(shè)規(guī)范,若符合,則繼續(xù)判斷所述輸入路徑是否存在,若存在,則判斷所述輸出路徑是否不存在,若不存在則說明所述篩選抽取信息是合法的;數(shù)據(jù)篩選步驟,在MapReduce框架下,初始化并解析所述篩選抽取信息,讀取待篩選數(shù)據(jù)中每一行數(shù)據(jù)記錄并進入map處理階段,根據(jù)所述輸入分隔符分隔所述數(shù)據(jù)記錄,并判斷所述待篩選數(shù)據(jù)是否包含所述篩選條件信息,若包含則進行數(shù)據(jù)篩選并獲得對應的數(shù)據(jù)字段,若不包含則不篩選;數(shù)據(jù)抽取步驟,判斷所述待篩選數(shù)據(jù)是否包含所述抽取字段信息,若包含則對對應所述數(shù)據(jù)字段進行抽取并輸出至所述輸出路徑。
申請?zhí)枺篊N202110563545.3
申請(專利權(quán))人:北京明略軟件系統(tǒng)有限公司
公開日期(公開):2021.08.03
公開日期(授權(quán)):2024.01.12
信息填寫