*Amazon EMRでTerasort

Terasortは、大規模のデータ生成やソートに使うHadoopのユーティリティである。Hadoopと共に配布されるものなので、言うまでもなく、Amazon EMRでも使える。

基本形

hadoop jar hadoop-examples*.jar teragen [number of 100-byte rows] [output directory]
hadoop jar hadoop-examples*.jar terasort [input directory] [output directory]

オプション

teragen [number of 100-byte rows] レコード数。長さ100バイトの文字列のレコード数指定。文字列は「ランダムキー+レコードカウント+ランダム文字列」
[output directory] 出力ディレクトリ。HDFSのディレクトリ指定。最後のフォルダ名はデータ生成時に作成するので任意指定(存在するとエラーになる)
terasort [input directory] 入力先のディレクトリ指定
[output directory] 出力先のディレクトリ指定

データ生成:例1)

hadoop jar hadoop-examples-0.20.205.jar teragen 1000000 /mnt/var/lib/hadoop/tmp/teradata1

データ生成:例2)

hadoop jar hadoop-examples-0.20.205.jar teragen 1000000 /mnt/var/lib/hadoop/tmp/teradata2 -Dmapred.map.tasks=24
*データ生成時には、reduceは使わない

データソート:例1)

hadoop jar hadoop-examples-0.20.205.jar terasort /mnt/var/lib/hadoop/tmp/teradata1 /mnt/var/lib/hadoop/tmp/terasort1

データソート:例2)

hadoop jar hadoop-examples-0.20.205.jar terasort -Dmapred.map.tasks=24 -Dmapred.reduce.tasks=8 /mnt/var/lib/hadoop/tmp/teradata2 /mnt/var/lib/hadoop/tmp/terasort2

生成データの確認

$ hadoop dfs -ls /mnt/var/lib/hadoop/tmp/teradata1
Found 161 items
-rw-r--r-- 3 hadoop supergroup 0 2012-03-09 07:43 /mnt/var/lib/hadoop/tmp/teradata1/_SUCCESS
-rw-r--r-- 3 hadoop supergroup 625000 2012-03-09 07:43 /mnt/var/lib/hadoop/tmp/teradata1/part-00000
~以下略~
$ hadoop dfs -cat /mnt/var/lib/hadoop/tmp/teradata1/part00000 |head -3
.t^#\|v$2\ 0AAAAAAAAAABBBBBBBBBBCCCCCCCCCCDDDDDDDDDDEEEEEEEEEEFFFFFFFFFFGGGGGGGGGGHHHHHHHH
75@~?'WdUF 1IIIIIIIIIIJJJJJJJJJJKKKKKKKKKKLLLLLLLLLLMMMMMMMMMMNNNNNNNNNNOOOOOOOOOOPPPPPPPP
w[o||:N&H, 2QQQQQQQQQQRRRRRRRRRRSSSSSSSSSSTTTTTTTTTTUUUUUUUUUUVVVVVVVVVVWWWWWWWWWWXXXXXXXX

ソートデータの確認

$ hadoop dfs -ls /mnt/var/lib/hadoop/tmp/terasort1
-rw-r--r-- 1 hadoop supergroup 0 2012-03-09 07:47 /mnt/var/lib/hadoop/tmp/terasort1/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 12461100 2012-03-09 07:47 /mnt/var/lib/hadoop/tmp/terasort1/part-00000
-rw-r
~以下略~
$ hadoop dfs -cat /mnt/var/lib/hadoop/tmp/terasort2/part-00000 | head -3
]:/sW_w 499209UUUUUUUUUUVVVVVVVVVVWWWWWWWWWWXXXXXXXXXXYYYYYYYYYYZZZZZZZZZZAAAAAAAAAABBBBBBBB
lERv6 !1?/A^=o 259481IIIIIIIIIIJJJJJJJJJJKKKKKKKKKKLLLLLLLLLLMMMMMMMMMMNNNNNNNNNNOOOOOOOOOOPPPPPPPP
!;_ kUwQ 605958QQQQQQQQQQRRRRRRRRRRSSSSSSSSSSTTTTTTTTTTUUUUUUUUUUVVVVVVVVVVWWWWWWWWWWXXXXXXXX

Posted on March 9, 2012 at 20:06 by admin · Permalink · Leave a comment
In: Blog