以下の題目で、松岡研究室 OBであるIBM 東京基礎研究所 千葉立寛氏による講演がございます。

ご興味のある方が是非、ご参加ください。

==

題目: 「MapReduce 上の高位スクリプト言語 JAQL の概要」

講演者：千葉 立寛さん（IBM 東京基礎研究所)

日時: 2012/1/18(水) 10:40 - 12:10

講義室: W834 （西８号館 E 棟 3階)
URL:sites.google.com/site/titechstream2011/ 

概要:

Hadoop Framework上でMapReduceプログラムを実行するためには、

Hadoopが提供するAPI(java, streaming, pipes)を用いてMap、Reduceそれぞれ

の処理内容を記述し、コンパイル・Jar化した後、実行するのが一般的であるが、

非常に複雑な処理を伴うジョブや、MapReduceの処理が多段に構成される

ようなジョブなどの現実のMapReduce Jobにおいては、そのロジックそのものを

MapReduceとして落とし込むのは難しい。また、細かいチューニングが必要で、

意図した動作になるまでのデバック作業などの開発サイクルも長くなりがちである。



 Hive, Pig, Jaqlに代表されるHadoop Script 言語は、MapReduceの抽象度を高めて、

ユーザにMapReduceのロジックそのものではなく、データの処理方法をSQLのように

記述するだけでMapReduce処理が実行可能となる。



 本講義では、これらのHadoop Script言語の特徴・違いを中心に説明し、

どのような状況で処理が簡単になるか、どういう最適化が可能かなどにも触れる。

==