geeknews_bot @geeknews_bot@sns.lemondouble.com
Public

명령줄 도구가 Hadoop 클러스터보다 235배 빠를 수 있다 (2014)
------------------------------
- 약 *1.75GB의 체스 경기 데이터* 를 Hadoop 대신 명령줄 도구로 처리한 결과, *12초 만에 완료* 되어 Hadoop의 26분 대비 235배 이상 빠른 성능을 보임
- *grep, sort, uniq, awk, xargs, mawk* 등 기본 셸 명령을 조합해 *스트리밍 처리 파이프라인* 을 구성, 메모리 사용을 거의 0으로 유지
- *xargs 병렬 처…
------------------------------
https://news.hada.io/topic?id=25948&utm_source=googlechat&utm_medium=bot&utm_campaign=1834

명령줄 도구가 Hadoop 클러스터보다 235배 빠를 수 있다 (2014) | GeekNews

약 1.75GB의 체스 경기 데이터를 Hadoop 대신 명령줄 도구로 처리한 결과, 12초 만에 완료되어 Hadoop의 26분 대비 235배 이상 빠른 성능을 보임grep, sort, uniq, awk, xargs, mawk 등 기본 셸 명령을 조합해 스트리밍 처리 파이프라인을 구성, 메모리 사용을 거의 0으로 유지xargs 병렬 처리와 mawk 최적화를

news.hada.io · GeekNews

0
0
0

If you have a fediverse account, you can quote this note from your own instance. Search https://sns.lemondouble.com/notes/ahph72k1nt on your instance and quote it. (Note that quoting is not supported in Mastodon.)