ICT - 빅데이터 : 오픈소스 (2013.05.16. 이준섭)
- 구분[통섭형 아카데미 강좌]
- 작성자최요한
- 배포일2013.06.10
- 조회수471
- 첨부
통섭공방 아카데미 - ICT 과정입니다.
발표 요약 :
위키피디아에 따르면 빅데이터는 데이터의 사이즈가 너무 크거나 복잡해서 현존하는 DBMS로 프로세스하기 어려운 데이터의 집합이다. 이전에는 천문학, 화학, 지진관측, 그리고 기상예보 등 과학 분야의 데이터를 빅데이터로 생각했고 이를 처리하기 위하여 Globus 등 그리드 컴퓨팅 분야가 발전하였으나, 현재는 이 뿐만 아니라 센서 네트워크 데이터, 소셜 데이터, 인터넷 데이터 등 보다 커머셜한 분야의 데이터들을 다루고 있고 이를 위한 기술들이 빠른 속도로 발전하고 있다. 지난 수년 동안 Hadoop 등 commodity PC 서버를 사용하여 데이터를 분산 처리하는 기술이 크게 발전함에 따라 기존에 사용하던 값비싼 서버와 SAN, NAS 등의 디스크, 그리고 커머셜 데이터베이스를 대체할 수 있게 되어 전통적인 데이터 처리 비용보다 많이 저렴한 비용으로 빅데이터를 처리할 수 있게 되었다. 이 세미나에서는 SK의 Hadoop 기반 대용량 데이터 플랫폼인SPADE (a Scalable & Parallel Analyzer for Data Enrichment)를 설명하고 이를 활용하여 SK의 서비스인 T store 등에 적용되는 여러 가지 Collaborative Filtering, Social Network Mining 알고리즘들에 대하여 소개한다.
- 제 목 : 빅데이터 개념 소개 및 오픈소스와 SKP 사례
- 발표자 : 이준섭 팀장 (SKP)
- 일 시 : 2013년 5월 16일(목) 14:00 ~ 15:30
- 장 소 : 7동 252호
발표 요약 :
위키피디아에 따르면 빅데이터는 데이터의 사이즈가 너무 크거나 복잡해서 현존하는 DBMS로 프로세스하기 어려운 데이터의 집합이다. 이전에는 천문학, 화학, 지진관측, 그리고 기상예보 등 과학 분야의 데이터를 빅데이터로 생각했고 이를 처리하기 위하여 Globus 등 그리드 컴퓨팅 분야가 발전하였으나, 현재는 이 뿐만 아니라 센서 네트워크 데이터, 소셜 데이터, 인터넷 데이터 등 보다 커머셜한 분야의 데이터들을 다루고 있고 이를 위한 기술들이 빠른 속도로 발전하고 있다. 지난 수년 동안 Hadoop 등 commodity PC 서버를 사용하여 데이터를 분산 처리하는 기술이 크게 발전함에 따라 기존에 사용하던 값비싼 서버와 SAN, NAS 등의 디스크, 그리고 커머셜 데이터베이스를 대체할 수 있게 되어 전통적인 데이터 처리 비용보다 많이 저렴한 비용으로 빅데이터를 처리할 수 있게 되었다. 이 세미나에서는 SK의 Hadoop 기반 대용량 데이터 플랫폼인SPADE (a Scalable & Parallel Analyzer for Data Enrichment)를 설명하고 이를 활용하여 SK의 서비스인 T store 등에 적용되는 여러 가지 Collaborative Filtering, Social Network Mining 알고리즘들에 대하여 소개한다.
