BigData.3 Hadoop의 개요

앞서 Hadoop에 대해 살짝 맛을 보았듯이, Hadoop은 데이터와 프로세싱을 모두 담당하는 구조이다.

데이터 측면에서는 HDFS(Hadoop Distributed File System)를 통해 분산 파일 시스템을 구현했고, 프로세싱 측면에서는 MapReduce 프로그래밍 모델을 사용한다. MapReduce는 아주 큰 데이터를 분산하여 처리하는데 적합하다.

BigData.2 급변하는 빅데이터 스택

여기서는 활발하게 기술이 개발되고 제품이 쏟아져 나오는(emerging) 빅데이터 스택에 대해서 얘기해 본다.

여기서 스택(stack)이라고 하는 것은 계층별로 다른 기술들이 중첩된(쌓여있는) 모양을 이야기 하는데, 예를 들어 프로토콜 스택이라고 하면 OSI 7레이어처럼 각 계층마다 다른 기술들이 독립적으로 쓰일 수 있는 모양을 의미한다. 빅데이터에서도 계층별로 다양한 기술들이 쏟아져 나오고 있기 때문에 스택으로 생각하면 편하다.

BigData.1 빅데이터가 대체 뭐냐?

소프트웨어 엔지니어 더 정확히 말하면 프로그래머의 수명은 몇 살까지일까? 외국에는 백발의 할아버지 프로그래머들도 활동한다지만, 우리나라는 40대 중반 정도가 평균인 것 같다. 그런데 내가 벌써 40대 중반을 넘어갔다. 

처음 프로그래밍에 대해 열정적으로 빠져들었을 때, 참 많은 것을 짧은 시간에 배운 것 같다.  그렇게 한번 불꽃처럼 타오른 뒤 , 그 열정은 서서히 식어가고 있었다. 20년 동안 젊을 때 익혔던 기술과 지식으로 잘 버텨왔는데, 어느새 세상이 확 바뀌어 버리고 말았다. 

몇년 전부터 빅데이터, Hadoop, Map-Reduce, Machine Learning, Deep Learning 등의 듣도보도 못한 용어들이 튀어나오기 시작하더니, 예전에는 구현되기 어려울 것이라 생각했던 지능적이고 고도화된 서비스들이 튀어나오기 시작했다. 그리고 이들 서비스들을 제공하는 업체들이 세계를 지배하게 되었다.

LG G4와 루나폰 카메라 화질 비교

나는 최신 스마트폰에 둔감한 편이다. 내가 스마트폰을 고르는 기준은 1등 제품이 아닐 것(그래야 다 같이 먹고 살 것 아닌가?), 가성비가 뛰어날 것, 튼튼할 것, 되도록 작을 것, 그리고 절대적인 가격이 쌀 것. 이 정도이다.

그래서 전에는 팬텍의 VEGA 아이언을 사서 만족스럽게 잘 쓰고 있었다. 그런데 언젠가 아들놈이 가지고 놀다가 떨어뜨리는 바람에 액정이 깨지고 말았다.  액정 수리비를 알아보니 15만원 정도... 이 정도면 그냥 새거 사겠다 싶어서 깨진 상태에서 버텼다.

그러나 와이프가 폰을 바꾼다길래 따라 갔다가, 얼떨결에 나도 폰을 장만해 버렸다. 순전히 우발적인 상황이었다.

헐렁한 유로플러그(Europlug) 안전하게 사용하기

사람들은 메이드인 차이나라 그러면 업신여기는 경향이 있지만, 요즘 웬만한 제조물품들은 중국도 꽤나 잘 만든다. 아니 샤오미나 팍스콘을 보면 꽤나 잘 만드는 정도가 아니라 아주 잘 만든다.

중국이 세계의 공장이 되면서 미국도 그렇고, 우리나라도 그렇고 제조업의 경쟁력이 많이 떨어졌다. 그래서 간혹 보면 꼭 필요한 물건인데 우리나라에서는 팔지 않거나 아주 비싸게 팔리는 것들이 있다.