拉尾盘说明什么-股票app官网公司名称-【东方资本】,股票交易规则t 0代表什么,a股怎样会被st,涨8配资网站

EN

基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)

2024-01-12

基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)

本發(fā)明涉及一種基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)。其中,該方法包括:輸入篩選抽取信息,判斷篩選抽取信息是否合法,在MapReduce框架下,初始化并解析篩選抽取信息,讀取待篩選數(shù)據(jù)中每一行數(shù)據(jù)記錄并進入map處理階段,根據(jù)輸入分隔符分隔數(shù)據(jù)記錄,并判斷待篩選數(shù)據(jù)是否包含篩選條件信息,若包含則進行數(shù)據(jù)篩選并獲得對應(yīng)的數(shù)據(jù)字段,若不包含則不篩選;判斷待篩選數(shù)據(jù)是否包含抽取字段信息,若包含則對對應(yīng)數(shù)據(jù)字段進行抽取并輸出至輸出路徑。本發(fā)明通過統(tǒng)一的輸入格式接口,高效的實現(xiàn)了用戶數(shù)據(jù)篩選需求,針對各種復(fù)雜多樣的數(shù)據(jù)篩選需求,避免開發(fā)人員頻繁的編寫不同的篩選抽取程序,提高數(shù)據(jù)處理任務(wù)效率,節(jié)省開發(fā)成本。

一種基于MapReduce的數(shù)據(jù)篩選抽取方法,其特征在于,包括以下步驟:篩選抽取信息輸入步驟,輸入篩選抽取信息,所述篩選抽取信息包括:數(shù)據(jù)的輸入路徑、篩選需求信息、數(shù)據(jù)的輸出路徑,所述篩選需求信息包括輸入分隔符、篩選條件信息、抽取字段信息和輸出分隔符;合法性判斷步驟,判斷所述篩選需求信息是否為空,若不為空,則判斷所述篩選需求信息是否為json格式,若為json格式,則判斷所述篩選需求信息是否符合預(yù)設(shè)規(guī)范,若符合,則繼續(xù)判斷所述輸入路徑是否存在,若存在,則判斷所述輸出路徑是否不存在,若不存在則說明所述篩選抽取信息是合法的;數(shù)據(jù)篩選步驟,在MapReduce框架下,初始化并解析所述篩選抽取信息,讀取待篩選數(shù)據(jù)中每一行數(shù)據(jù)記錄并進入map處理階段,根據(jù)所述輸入分隔符分隔所述數(shù)據(jù)記錄,并判斷所述待篩選數(shù)據(jù)是否包含所述篩選條件信息,若包含則進行數(shù)據(jù)篩選并獲得對應(yīng)的數(shù)據(jù)字段,若不包含則不篩選;數(shù)據(jù)抽取步驟,判斷所述待篩選數(shù)據(jù)是否包含所述抽取字段信息,若包含則對對應(yīng)所述數(shù)據(jù)字段進行抽取并輸出至所述輸出路徑。

基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)

申請?zhí)枺篊N202110563545.3
申請(專利權(quán))人:北京明略軟件系統(tǒng)有限公司
公開日期(公開):2021.08.03
公開日期(授權(quán)):2024.01.12

信息填寫

*手機號碼:

請選協(xié)議