youmin's blog

kaggle-Real or Not? NLP with Disaster Tweets ②-Basic EDA

Real or Not? NLP with Disaster Tweets②-Basic EDAImporting required Libraries.가장 먼저 필요한 라이브러리들을 import 합니다. 1234567891011121314151617181920212223import pandas as pdimport matplotlib.pyplot as pltimp......

Posted by youmin park on 2020-11-28

UFO Project 2 - Hyperledger Fabric generate implementation

지난 포스트에서는 raft algorithom에 대해 간단히 공부를 했으니 이제 본격적으로 구현을 시작해 봅니다. 개발 환경 ubuntu Docker & Docker ComposeFabric Network 구동을 위한 컨테이너 chain code : node js 지금 개발할려는 raft 기반의 Hyperledger Fabric Netw......

Posted by youmin park on 2020-11-27

블록체인 raft blockchain hyperledger fabric 하이퍼레저 패브릭

Light GBM① - 이해하기

Light GBM① - 이해하기서론데이터 분석 방법을 크게 두가지로 나눠본다면, 음성, 이미지, 텍스트 처럼 딱 형태로 떨어지는 데이터가 아니여서 중요한 feature를 추출하는 작업이 필요할때 기업 DB의 테이블 처럼 tabular 형태로 저장되어 있는 정형화된 데이터 형태. 하나 하나 칼럼이 정확한 의미를 가지고 있음. 첫번째의 경우는 딥러......

Posted by youmin park on 2020-11-26

lightGBM Boosting

데이터 시각화와 통계적 해석

데이터 사이언스를 위한 통계학 입문_8일차데이터 시각화와 통계적 해석1. 데이터 시각화 데이터 분석 결과를 쉽게 이해 할 수 있도록 보여주는 것! 그래프, 도표, 이미지, 단어 구름 등을 통해 한 눈에 이해할 수 있도록 하는 것! 데이터 분석 단계: 수집 -> 정제 -> 시각화 -> 예측모형/분석 인포그래픽, 히스토그램, 상자그림, 산......

Posted by youmin park on 2020-11-25

데이터 사이언스 통계 statistics 데이터 시각화

데이터 탐색

데이터 사이언스를 위한 통계학 입문_7일차1. 데이터 탐색의 첫걸음 통계치로 인사이트를 얻는다. 어떤 회사에 합격하려면 -> 평균적으로 이런 스팩이 필요하다. 최적의 의사 결정 데이터 탐색 공정에 대한 평균, 산포, 불량률을 추정 품질의 변동상황을 관리도(Control Chart)로 표현 공정에 발생하는 이상요인을 빨리 탐지하여 수정조치......

Posted by youmin park on 2020-11-24

데이터 사이언스 통계 statistics

kaggle-Real or Not? NLP with Disaster Tweets ①

Real or Not? NLP with Disaster TweetsNLP Getting Stated Tutorial123import numpy as np # linear algebraimport pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)from sklearn import featu......

Posted by youmin park on 2020-11-23

데이터 사이언스 자연어 처리 kaggle NLP disater_tweets

데이터와 빅데이터

데이터 사이언스를 위한 통계학 입문_6일차1. 데이터란 무엇인가? 구조화된 데이터 다차원 배열(매트릭스) 각 열의 형식이 다른 표 or 스프레드시트 탭이나 텍스트 파일 형식으로 저장(*.txt, *.csv) 2. 데이터화(Datafication) 기계가 읽어들일수 있는 모든것을 (숫자, 이미지, 텍스트) 데이터로 변환하는것. 개인의 활동을 실시간......

Posted by youmin park on 2020-11-23

데이터 사이언스 통계 statistics 빅데이터

데이터의 분산(산포정도)

데이터 사이언스를 위한 통계학 입문_5일차데이터의 분산(산포정도)1. 어느 집단의 분산이 클까 데이터는 아는 만큼 보인다. 평균과 아는 사람 vs 평균과 표준편차를 아는 사람 (예시) 기업 A 기업B 평균 연봉 4,280만원 4,280만원 표준 편차 2,399만원 467만원 평균 연봉은 같지만, 기업 A는 초봉이 낮고 승진하......

Posted by youmin park on 2020-11-22

데이터 사이언스 통계 statistics 산포정도

RNN - 순환 신경망(Recurrent Neural Network) ①

RNN - 순환 신경망(Recurrent Neural Network) ①1. 순서(sequence)가 있는 데이터 2. 시간 개념을 포함한 RNN 구조 3. RNN 동작 원리 내부적으로 순환(Recurrent) 되는 구조를 이용하여, 순서(Sequence)가 있는 데이터를 처리하는 데 강점을 가진 신경망 순서(sequence)가 ......

Posted by youmin park on 2020-11-21

데이터 사이언스 자연어 처리 rnn Recurrent Neural 머신러닝 알고리즘

데이터의 평균(중심위치)

데이터 사이언스를 위한 통계학 입문_4일차데이터의 평균(중심위치) 평균은 데이터를 하나의 값으로 표현한 요약된 정보 (추정치) 평균 = 데이터 값의 총 합 / 데이터의 개수 평균을 다룰 때 주의할 점 평균은 혼자 존재하는 개념이 아니다! 평균과 표본 선정 어떻게 표본선정을 하느냐에 따라 평균에 영향 조사된 평균값이 모집단을 대표하는 통계치 ......