You are here: Home -  Hogan Negozi di dati in evoluzione nel tempo

Hogan Negozi di dati in evoluzione nel tempo

Hogan Negozi

Una proprietà importante di grande elaborazione dati di oggi è che lo stesso calcolo viene spesso ripetuta su insiemi di dati in evoluzione nel tempo, come web e sociale reti dati. Mentre ripetizione completa calcolo degli interi insiemi di dati è fattibile con quadri Scarpe Hogan Online di calcolo distribuito come Hadoop, è ovviamente risorse inefficienti e scarti. In questo articolo, presentiamo HadUP (Hadoop con Update Processing), un'architettura Hadoop modificato su misura per l'elaborazione incrementale su larga scala con algoritmi MapReduce convenzionali. Diversi approcci sono stati proposti per conseguire un obiettivo simile utilizzando a livello di attività Memoizzazione. Tuttavia, a livello di attività Memoizzazione rileva la modifica di set di dati a livello di grana grossa, che rende spesso tali approcci inefficaci. Invece, HadUP rileva e calcola il cambio di set di dati ad un livello a grana fine con un algoritmo basato deduplicazione-snapshot differenziale (D-SD) e l'aggiornamento di propagazione. Come risultato, fornisce alte prestazioni, specialmente in un ambiente in cui a livello di attività Memoizzazione ha alcun beneficio. HadUP richiede Hogan Negozi solo una piccola quantità da programmazione supplementare perché può riutilizzare il codice per la mappa e ridurre le funzioni di Hadoop. Pertanto, lo sviluppo di applicazioni HadUP è abbastanza facile.
0 Commenti


Parlare la vostra mente