Per ardua ad astra.

피어슨 상관 계수 구하기들어가며피어슨 상관 계수(Pearson Correlation Coefficient)를 구하는 방법을 정리해본다.2024년 9회 제3유형 기출 문제로 피어슨 상관 계수를 구하는 문제가 출제되었다. 피어슨 상관 계수(Pearson Correlation Coefficient)개념두 변수 간의 선형 관계의 강도와 방향을 측정하는 통계적 지표-1에서 1 사이의 값을 가진다.$$r = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum (x_i - \bar{x})^2 \cdot \sum (y_i - \bar{y})^2}}$$☑️ $x_i, y_i$ : 데이터 값☑️ $\bar{x}, \bar{y}$ : 각각의 평균 값 특징두 변수 간의 관계가 선형..

시험장에서 알아두면 좋은 팁들어가며빅데이터분석기사 실기 시험장에서 알아두면 좋은 팁을 정리해본다. 팁1️⃣ 메모 기능 활용하기빅데이터분석기사 실기 시험은 구름 온라인 IDE를 통해 진행된다. 구름EDU - 모두를 위한 맞춤형 IT교육구름EDU는 모두를 위한 맞춤형 IT교육 플랫폼입니다. 개인/학교/기업 및 기관 별 최적화된 IT교육 솔루션을 경험해보세요. 기초부터 실무 프로그래밍 교육, 전국 초중고/대학교 온라인 강의, 기업/edu.goorm.io 구름 온라인 IDE는 메모 기능을 지원한다. @help@, @dir@ 명령의 출력 결과나 부분 문제의 정답 등을 메모장에 기록해두면 유용하다.참고로, 구름 온라인 IDE의 터미널 출력 결과는 키보드를 이용하여 복사(Ctrl+C) 및 붙여넣기(Ctrl+V)를 할..

제3유형: 가설 검정 연습 문제들어가며빅데이터분석기사 실기 제3유형 가설 검정 파트의 연습 문제를 정리해본다. 단일 표본 T-검정(One Sample T-Test)개념표본 평균이 모평균과 다른지를 검정하는 통계적 방법☑️ 귀무 가설($H_0$) : 표본의 평균은 특정값(모집단 평균)과 같다.☑️ 대립 가설($H_1$) : 표본의 평균은 특정값(모집단 평균)과 다르다.단일 표본 T-검정은 1가지를 만족한다고 가정한다.단일 표본 T-검정은 표본이 정규 분포를 따른다고 가정한다. (정규성 가정 만족)표본의 크기가 작은 경우 (30개 미만) 데이터가 정규 분포를 따르는지 확인한다.정규성 가정을 확인하기 위해서는 샤피로-윌크 검정을 이용한다.@scipy.stats@ 패키지의 @shapiro@ 함수를 이용한다.정규..

제2유형 시험 준비들어가며빅데이터분석기사 실기 제2유형 시험 준비를 위한 내용을 정리해본다.제2유형은 데이터 모형 구축 및 평가와 관련된 내용이 포함된다.제2회 ~ 제8회 기출 변형 문제와 풀이 방법을 함께 정리하였다.모든 문제의 모델링은 성능이 준수하게 나오는 랜덤 포레스트(Random Forest)를 이용하여 수행하였다. 랜덤 포레스트(Random Forest)개념앙상블 학습(Ensemble Learning) 방법 중 한 방법여러 개의 의사결정 나무(Decision Tree)를 생성하고 그 결과를 종합하여 예측 성능을 높이는 알고리즘매우 유연하고 강력하지만, 데이터가 잘 준비되지 않으면 성능이 저하될 수 있다. 데이터 전처리1️⃣ 종속 변수를 범주형 변수로 바꾸지 않아도 된다.랜덤 포레스트는 회귀(R..

제1유형 시험 준비들어가며빅데이터분석기사 실기 제1유형 시험 준비를 위한 내용을 정리해본다.제1유형은 데이터 전처리와 관련된 내용이 포함된다.제2회 ~ 제8회 기출 변형 문제와 풀이 방법을 함께 정리하였다. 문제📎 문제1 (21년 2회)BostonHousing 데이터@crim@ 항목의 상위에서 10번째 값(상위 10개의 값 중에서 가장 작은 값)으로 상위 10개의 값을 변환하고, @age@가 80 이상인 값에 대하여 @crim@의 평균 구하기소수점 셋째 자리에서 반올림해서 소수점 둘째 자리로 출력하기import numpy as npimport pandas as pddf = pd.read_csv('./datasets/data_q1.csv')# 'crim' 항목의 상위 10번째 값 뽑기top10_value..

help(), dir() 활용하기들어가며빅데이터분석기사 실기 시험장에서 특정 함수명이나 함수의 사용 방법을 잊어버렸을 경우, @help()@ 또는 @dir()@ 함수를 이용하여 확인할 수 있다.이에 대한 내용을 정리해본다. 방법0️⃣ 참고 사항@help()@ 또는 @dir()@ 함수의 인자에 넣을 대상을 우선 @import@ 해줘야 한다.import sklearn # (1) 확인하고자 할 대상 불러오기print(help(sklearn)) # (2) 사용 방법 확인print(dir(sklearn)) # (3) 속성/메서드 목록 확인 1️⃣ help() 함수 사용하기객체, 모듈, 함수, 클래스 등에 대한 도움말 문서(docstring)를 확인하고 싶을 경우 @help()@ 함수를 사용..

corr() 함수와 numeric_only 옵션들어가며판다스(Pandas) 2.0.0 버전부터 @corr@ 함수의 @numeric_only@ 옵션의 기본값이 @False@로 변경되었다.이에 대한 내용을 정리해본다. 설명판다스(Pandas) 2.0.0 버전부터 @corr@ 함수의 @numeric_only@ 옵션의 기본값이 @False@로 변경되었다.이전 버전에는 기본값이 @True@로 설정되어 있어서, 이 옵션을 따로 넣어주지 않아도 됐었다.따라서 판다스 2.0.0 이상 버전이 적용된 빅데이터분석기사 실기 시험 9회차부터 @corr@ 함수를 사용할 경우, @numeric_only=True@ 옵션을 반드시 지정해줘야 한다.import pandas as pddf = pd.read_csv("data/Titani..

시험장 들어가기 전에 보기 빠르게 보기 좋은 강의 모음들어가며시험장에 들어가기 전에 빠르게 보면 좋을 것 같은 (무료) 강의들을 시험 출제 유형별로 정리해본다.유튜브(YouTube)에 올라와 있는 여러 무료 강의들 중, 괜찮게 들은 것들을 정리해보았다. 강의 모음제1유형 (데이터 전처리)강의명URL비고파이썬 기초https://youtu.be/3GSnGaH5yoc?si=JeIYxJJF8faZkHf6파이썬(Python)한 시간 만에 배우는 판다스https://youtu.be/hmKVYEei4Oo?si=cCy-klaPyMS0Y4Lt판다스(Pandas)판다스 100제https://youtu.be/J9XkwoCamuI?si=S1SKTX0eeUJIMmCb판다스(Pandas)아답터 빅분기 실기 대비 필수 영상 (1유..

제6회 기출 변형 문제 (제3유형)들어가며빅데이터분석기사 실기 제6회 제3유형 기출 변형 문제를 올려본다.제6회 제3유형에서는 가설 검정과 관련된 문제가 출제되었다. 문제 1감기약을 복용할 때 부작용에 대한 분류와 비율 데이터위약 효과가 있는지 253건의 데이터를 추출하여 검증하려고 한다.감기 부작용에 대한 비율이 위약 효과 부작용 비율과 같은지 카이제곱 검정하기부작용 유형코드비율두통10.05졸림20.1속쓰림30.05부작용 없음40.8합계1 (1) 위약 샘플 데이터가 @부작용 없음@인 데이터를 0~1 사이의 확률로 출력하기 (반올림하여 소수점 셋째 자리로 출력)(2) 카이제곱 검정으로 검정 통계량 출력하기 (반올림하여 소수점 셋째 자리로 출력)(3) 유의확률(p-value) 출력하기 (반올림하여 소수점 ..

제7회 기출 변형 문제 (제3유형)들어가며빅데이터분석기사 실기 제7회 제3유형 기출 변형 문제를 올려본다.제7회 제3유형에서는 고급 통계(회귀 분석)과 관련된 문제가 출제되었다. 참고회귀 분석에서는 귀무 가설과 대립 가설이 다음과 같이 설정된다.따라서 유의하지 않은 변수를 구하려면 귀무 가설을 채택(p-value > 0.05(유의수준))하는 변수를 선택하면 된다.귀무 가설 : 해당 변수는 종속 변수에 미치는 영향력이 없다. (유의하지 않다.)대립 가설 : 해당 변수는 종속 변수에 미치는 영향력이 있다. (유의하다.) 로지스틱 회귀 분석은 @statsmodels.api.Logit(y, X)@ 함수를 사용하고, 다중 선형 회귀 분석은 @statsmodels.api.OLS(y, X)@ 함수를 사용한다.p-va..

제8회 기출 변형 문제 (제3유형)들어가며빅데이터분석기사 실기 제8회 제3유형 기출 변형 문제를 올려본다.제8회 제3유형에서는 고급 통계(회귀 분석)과 관련된 문제가 출제되었다. 참고회귀 분석에서는 귀무 가설과 대립 가설이 다음과 같이 설정된다.따라서 유의하지 않은 변수를 구하려면 귀무 가설을 채택(p-value > 0.05(유의수준))하는 변수를 선택하면 된다.귀무 가설 : 해당 변수는 종속 변수에 미치는 영향력이 없다. (유의하지 않다.)대립 가설 : 해당 변수는 종속 변수에 미치는 영향력이 있다. (유의하다.) 로지스틱 회귀 분석은 @statsmodels.api.Logit(y, X)@ 함수를 사용하고, 다중 선형 회귀 분석은 @statsmodels.api.OLS(y, X)@ 함수를 사용한다.p-va..

제3유형 시험 준비 (가설 검정, 고급 통계)들어가며빅데이터분석기사 실기 제3유형 시험 준비를 위한 내용을 정리해본다.제3유형은 ①가설 검정과 ②고급 통계의 내용이 포함된다. 1️⃣ 가설 검정☑️ (통계적) 가설 검정관찰된 현상/효과가 우연에 의한 것인지 알아보기 위해 가설을 세우고, 가설의 합당성을 확인하는 과정A 그룹과 B 그룹에서 보이는 어떤 차이가 우연에 의한 것인지, 실제로 다른 것인지 통계적으로 검증하는 것 변수 유형집단 수검정 방식설명수치형(연속형)1개단일 표본 t-검정모평균과 표본 평균이 유의하게 다른지 검정2개독립 표본 t-검정2개의 독립된 집단의 평균 차이 검정대응 표본 t-검정같은 집단에서 2번 측정한 결과의 평균 차이 검정2개 이상일원 분산 분석(One Way ANOVA)3개 이상의..

판다스(pandas) 출력 길이 제한 해제하기들어가며판다스(@pandas@)의 출력 길이 제한을 해제하는 방법을 정리해본다.긴 내용의 데이터를 확인할 경우 중간에 @...@으로 생략되어 있어서 불편한데, 이 설정을 해주면 전체 내용이 보이게 된다. 방법다음과 같이 @pd.set_option()@을 이용하여 최대 출력 행과 열의 개수를 없앨 수 있다.import pandas as pd# 행과 열의 최대 출력 제한 해제하기pd.set_option('display.max_rows', None) pd.set_option('display.max_columns', None) 참고 사이트 pandas.set_option — pandas 2.2.3 documentationdisplay.[large_repr, max_c..