데이터 전처리(Data Preprocessing data)

✨ 데이터 전처리 과정(Data Preprocessing Data)

주어진 데이터를 그대로 Data mining 하지 않고, 분석하기 적합하게 데이터를 가공하는 작업

 

 

✨ dplyr package

데이터를 빨리 가공할 수 있게 도와주는 package

이 패키지의 내부 함수를 알아보고자한다.

• filter() : 행 추출
• select() : 열(variable) 추출
• arrange() : 정렬
• mutate() : variable 추가
• summarise() : 통계치 산출
• group_by() : grouping, 집단별로 나누기
• left_join() : 데이터 합치기(열, variable)
• bind_rows() : 데이터 행(record) 합치기 

bind_rows()에서는 변수의 개수와 변수의 이름이 같아야한다. 

summarise()와 group_by()는 aggregation function을 주로 사용한다. db에서 group by, having과 비슷한 역할을 하는 것이다. 

install.packages("dplyr")
library(dplyr)

 

✨ dplyr method 사용

출처의 데이터를 바탕으로 dplyr method 사용을 익혀보고자 한다. 

 

📚 filter()

# filter
exam[exam$class == 1, ]
exam %<% filter(class == 1)

위 코드와 아래코드는 정확히 같은 데이터를 보여준다.

%>%는 파이프 연산자로 Ctrl + Shift + M을 누르면 %>%이 삽입된다.

 

exam %>% filter(math>80 & english <90)

 

또한 값을 꺼낼 수도 있다.

class1 <- exam %<% filter(class == 1)
mean(class1$math)

 

filter()는 db의 where 절과 같은 역할을 한다.

 

 

📚 select()

exam %>% select(math)
exam %>% select(math, english, science)
exam %>% select(-math) # math 제와 데이터 추출

exam %>% 
  select(id, math) %>% 
  head(10)

 

📚 filter() & select()

exam %>% 
  filter(class==1) %>% 
  select(math, english)

 

 

📚 arrange()

정렬, order by와 같음

exam %>% arrange(math)
exam %>% arrange(id)
exam %>% arrange(class)
exam %>% arrange(id, class)
exam %>% arrange(desc(class)) %>% head(10)

내림차순으로 변경하고 싶으면 desc() method를 사용하면 된다. 

 

📚 mutate()

파생변수 생성 method => db add column (변수(variable), 열 추가)

exam %>% mutate(total = english + math + science)
exam %>% mutate(total = english + math + science, mean = total/3)
exam %>% mutate(test = ifelse(science>=60, "P", "F")) %>% head

 

 

📚 arrange() & mutate()

exam %>%
  mutate(total = english + math + science) %>%
  arrange(desc(total)) %>% 
  head

 

📚 group_by() & summarise()

exam %>% summarise(math_mean = mean(math))

exam %>% 
  group_by(class) %>% 
  summarise(math_mean = mean(math)
  
  
  exam %>% 
  group_by(class) %>% 
  summarise(mean_math = mean(math),
            sum_math = sum(math), 
            median_math = median(math),
            n = n()) # n은 빈도 = 행의 개수

 

 

함수	의미
mean()	평균
sd()	표준편차
sum()	합계
median()	중위수
min()	최솟값
max()	최댓값
n()	빈도

 

 

📚 연습

mpg_audi <- mpg %>% filter(manufacturer == "audi")
mpg_toyota <- mpg %>% filter(manufacturer== "toyota")
mean(mpg_audi$hwy)
mean(mpg_toyota$hwy)

mpg_new <- mpg %>% select(class, cty)
mpg_new

mpg %>% filter(manufacturer == "audi") %>% arrange(desc(hwy)) %>% head(5)

mpg %>% group_by(manufacturer) %>%
  filter(class == "suv") %>% 
  mutate(mean_y = (cty + hwy)/2) %>% 
  summarise(mean_total = mean(mean_y)) %>% 
  arrange(desc(mean_total)) %>% 
  head(5)

 

 

출처]

https://rstudio-pubs-static.s3.amazonaws.com/382545_098d268806f449c496734236e0b97493.html