책소개
다양한 현실 세계 예제로 스파크 2의 진면목을 경험한다. 이 책은 독자에게 대량의 데이터셋을 가지고 스파크 2를 활용해 복잡한 분석과 머신러닝 학습을 실제로 해보는 생생한 느낌을 전달한다. 단순히 모델을 구축하고 평가하는 데 그치지 않고, 데이터 정제부터 전처리, 데이터 조사, 실제 제품을 만들기까지의 전체 파이프라인을 보여준다. 이러한 과정을 다양한 분야에서 가져온 현실 예제에 맞게 교차 최소 제곱 추천 알고리즘, 의사 결정 나무, K-평균 군집화, 숨은 의미 분석, 세션화, 몬테카를로 시뮬레이션 등의 기법을 동원해 풀어본다.
목차
1장. 빅데이터 분석하기1.1 데이터 과학의 어려움1.2 아파치 스파크란1.3 이 책에 관하여1.4 2판에 관하여2장. 스칼라와 스파크를 활용한 데이터 분석2.1 데이터 과학자를 위한 스칼라2.2 스파크 프로그래밍 모델2.3 레코드 링크2.4 스파크 셸과 SparkContext 시작하기2.5 클러스터에서 클라이언트로 데이터 가져오기2.6 클라이언트에서 클러스터로 코드 보내기2.7 RDD에서 Data Frame으로2.8 DataFrame API로 데이터 분석하기2.9 데이터프레임에 대한 빠른 요약 통계2.10 데이터프레임의 축 회전과 형태변환2.11 데이터프레임을 결합하고 특징 선택하기2.12 실제 환경을 위한 모델 준비하기2.13 모델 평가2.14 한 걸음 더 나아가기3장. 음악 추천과 Audioscrobbler 데이터셋3.1 데이터셋3.2 교차 최소 제곱 추천 알고리즘3.3 데이터 준비하기3.4 첫 번째 모델 만들기3.5 추천 결과 추출 검사하기3.6 추천 품질 평가하기3.7 AUC 계산하기3.8 하이퍼파라미터 선택하기3.9 추천 결과 만들기3.10 한 걸음 더 나아가기4장. 의사 결정 나무로 산림 식생 분포 예측하기4.1 회귀로 돌아와서4.2 벡터와 특징4.3 학습 예제4.4 의사 결정 나무와 랜덤 포레스트4.5 Covtype 데이터셋4.6 데이터 준비하기4.7 첫 번째 의사 결정 나무4.8 의사 결정 나무 하이퍼파라미터4.9 의사 결정 나무 튜닝하기4.10 범주형 특징 다시 살펴보기4.11 랜덤 포레스트4.12 예측하기4.13 한 걸음 더 나아가기5장. K-평균 군집화로 네트워크 이상 탐지하기5.1 이상 탐지5.2 K-평균 군집화5.3 네트워크 침입5.4 KDD 컵 1999 데이터셋5.5 첫 번째 군집화하기5.6 k 선정하기5.7 R에서 시각화하기5.8 특징 정규화5.9 범주형 변수5.10 엔트로피와 함께 레이블 활용하기5.11 군집화하기5.12 한 걸음 더 나아가기6장. 숨은 의미 분석으로 위키백과 이해하기6.1 문서-단어 행렬6.2 데이터 구하기6.3 파싱하여 데이터 준비하기6.4 표제어 추출6.5 단어빈도-역문서빈도(TF-IDF) 계산하기6.6 특잇값 분해6.7 중요한 의미 찾기6.8 낮은 차원 표현에 대한 의문과 고찰6.9 단어와 단어 사이의 연관도6.10 문서와 문서 사이의 연관도6.11 문서와 단어 사이의 연관도6.12 여러 개의 단어로 질의하기6.13 한 걸음 더 나아가기7장. 그래프엑스로 동시발생 네트워크 분석하기7.1 네트워크 분석 사례: MEDLINE의 인용 색인7.2 데이터 구하기7.3 스칼라 XML 라이브러리로 XML 문서 파싱하기7.4 MeSH 주요 주제와 주제들의 동시발생 분석하기7.5 그래프엑스로 동시발생 네트워크 구성하기7.6 네트워크의 구조 이해하기7.7 관련성 낮은 관계 필터링하기7.8 작은 세상 네트워크7.9 한 걸음 더 나아가기 8장. 뉴욕 택시 운행 데이터로 위치 및 시간 데이터 분석하기8.1 데이터 얻기8.2 스파크에서 서드파티 라이브러리로 작업하기8.3 지리 데이터와 Esri Geometry API, 그리고 Spray8.4 뉴욕 택시 운행 데이터 준비하기8.5 스파크에서 세션화 작업 수행하기8.6 한 걸음 더 나아가기9장. 몬테카를로 시뮬레이션으로 금융 리스크 추정하기9.1 전문 용어9.2 VaR 계산 방법9.3 우리의 모델9.4 데이터 구하기9.5 전처리하기9.6 요인 가중치 결정하기9.7 표본추출9.8 실험 실행하기9.9 수익 분포 시각화하기9.10 결과 평가하기9.11 한 걸음 더 나아가기10장. BDG 프로젝트와 유전체학 데이터 분석하기10.1 모델링과 저장소를 분리하기10.2 ADAM CLI를 이용한 유전체학 데이터 처리10.3 ENCODE 데이터로부터 전사인자 결합 부위 예측하기10.4 1000 지놈 프로젝트에서 유전자형 질의하기10.5 한 걸음 더 나아가기11장. 파이스파크와 썬더로 신경 영상 데이터 분석하기11.1 파이스파크 소개11.2 썬더 라이브러리 개요와 설치11.3 썬더로 데이터 읽어 들이기11.4 썬더로 신경 세포 유형 분류하기11.5 한 걸음 더 나아가기8. 관련 도서 (제목 ISBN)● 처음 배우는 데이터 과학 / 9791162240472● 파이썬 라이브러리를 활용한 데이터 분석(수정보완판) / 9788968480478● 파이썬 라이브러리를 활용한 머신러닝 / 9788968483394● 파이썬을 활용한 금융 분석 / 9788968482779
