*Amazon EMRでTerasort
Terasortは、大規模のデータ生成やソートに使うHadoopのユーティリティである。Hadoopと共に配布されるものなので、言うまでもなく、Amazon EMRでも使える。
基本形
hadoop jar hadoop-examples*.jar teragen [number of 100-byte rows] [output directory]
hadoop jar hadoop-examples*.jar terasort [input directory] [output directory]
オプション
| teragen | [number of 100-byte rows] | レコード数。長さ100バイトの文字列のレコード数指定。文字列は「ランダムキー＋レコードカウント＋ランダム文字列」 |
| [output directory] | 出力ディレクトリ。HDFSのディレクトリ指定。最後のフォルダ名はデータ生成時に作成するので任意指定（存在するとエラーになる） | |
| terasort | [input directory] | 入力先のディレクトリ指定 |
| [output directory] | 出力先のディレクトリ指定 |
データ生成：例1)
hadoop jar hadoop-examples-0.20.205.jar teragen 1000000 /mnt/var/lib/hadoop/tmp/teradata1
データ生成：例2)
hadoop jar hadoop-examples-0.20.205.jar teragen 1000000 /mnt/var/lib/hadoop/tmp/teradata2 -Dmapred.map.tasks=24
*データ生成時には、reduceは使わない
データソート：例1)
hadoop jar hadoop-examples-0.20.205.jar terasort /mnt/var/lib/hadoop/tmp/teradata1 /mnt/var/lib/hadoop/tmp/terasort1
データソート：例2)
hadoop jar hadoop-examples-0.20.205.jar terasort -Dmapred.map.tasks=24 -Dmapred.reduce.tasks=8 /mnt/var/lib/hadoop/tmp/teradata2 /mnt/var/lib/hadoop/tmp/terasort2
生成データの確認
$ hadoop dfs -ls /mnt/var/lib/hadoop/tmp/teradata1
Found 161 items
-rw-r--r-- 3 hadoop supergroup 0 2012-03-09 07:43 /mnt/var/lib/hadoop/tmp/teradata1/_SUCCESS
-rw-r--r-- 3 hadoop supergroup 625000 2012-03-09 07:43 /mnt/var/lib/hadoop/tmp/teradata1/part-00000
～以下略～
$ hadoop dfs -cat /mnt/var/lib/hadoop/tmp/teradata1/part00000 |head -3
.t^#\|v$2\ 0AAAAAAAAAABBBBBBBBBBCCCCCCCCCCDDDDDDDDDDEEEEEEEEEEFFFFFFFFFFGGGGGGGGGGHHHHHHHH
75@~?'WdUF 1IIIIIIIIIIJJJJJJJJJJKKKKKKKKKKLLLLLLLLLLMMMMMMMMMMNNNNNNNNNNOOOOOOOOOOPPPPPPPP
w[o||:N&H, 2QQQQQQQQQQRRRRRRRRRRSSSSSSSSSSTTTTTTTTTTUUUUUUUUUUVVVVVVVVVVWWWWWWWWWWXXXXXXXX
ソートデータの確認
$ hadoop dfs -ls /mnt/var/lib/hadoop/tmp/terasort1
-rw-r--r-- 1 hadoop supergroup 0 2012-03-09 07:47 /mnt/var/lib/hadoop/tmp/terasort1/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 12461100 2012-03-09 07:47 /mnt/var/lib/hadoop/tmp/terasort1/part-00000
-rw-r
～以下略～
$ hadoop dfs -cat /mnt/var/lib/hadoop/tmp/terasort2/part-00000 | head -3
]:/sW_w 499209UUUUUUUUUUVVVVVVVVVVWWWWWWWWWWXXXXXXXXXXYYYYYYYYYYZZZZZZZZZZAAAAAAAAAABBBBBBBB
lERv6 !1?/A^=o 259481IIIIIIIIIIJJJJJJJJJJKKKKKKKKKKLLLLLLLLLLMMMMMMMMMMNNNNNNNNNNOOOOOOOOOOPPPPPPPP
!;_ kUwQ 605958QQQQQQQQQQRRRRRRRRRRSSSSSSSSSSTTTTTTTTTTUUUUUUUUUUVVVVVVVVVVWWWWWWWWWWXXXXXXXX
