MapReduce

Дін і Гемават звели розподілене обчислення до двох функцій, а всю складність із відмовами й розподілом роботи сховали в системі.

Чому це важливо

Обробка даних на тисячі машин стала доступною програмісту, який нічого не знає про розподілені системи.

Програміст пише лише перетворення кожного запису і згортку результатів; решту — розбиття, перезапуск після відмов, балансування — бере на себе система. Обмеженість моделі виявилася її перевагою: у неї вклалася величезна частка реальних задач. У 2006 році Hadoop дав відкриту реалізацію, і схема стала галузевим стандартом на десятиліття.

Відомості про подію

Дата події

грудень 2004 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

ID

evt-0250

Доповідь на симпозіумі OSDI у грудні 2004 року.

Джерела

першоджерело MapReduce: Simplified Data Processing on Large Clusters
OSDI 2004 · Опубліковано грудень 2004 р.
першоджерело MapReduce: Simplified Data Processing on Large Clusters (OSDI '04 proceedings copy)
USENIX Association, OSDI '04 · Опубліковано грудень 2004 р.
архівна копія Welcome to Hadoop! (project site at release 0.1.0; news of 3 February and 30 March 2006)
Apache Software Foundation (Lucene project) · Опубліковано 30 березня 2006 р.

Пов’язані події

Раніше

Спирається на Файлова система Google 2003
Обчислення виконуються поверх тієї самої розподіленої файлової системи.
- MapReduce: Simplified Data Processing on Large Clusters · OSDI 2004

Пізніше

Розвиває Apache Hadoop 2006посилається на цей запис
Відкрита реалізація схеми, описаної Google двома роками раніше.
- Apache Hadoop · Apache Software Foundation
Пов’язано Нерозумна ефективність даних 2009
Практичний спосіб обробити ті обсяги, на яких тримається теза про ефективність даних.
Пов’язано Apache Spark 2012посилається на цей запис
Та сама модель розподіленої обробки, але придатна для ітеративних алгоритмів.