|
노이즈에 강한 모델 찾기
단순한 방법은 이상치 데이터를 식별하여 제거하는 것이다. 하지만, 어떤 데이터를 이상치로 간주할 것인지가 문제이다. 데이터마다 특성이 다르기 때문에, 어떤 기준으로 이상치를 판단할지는 상황에 따라 달라
|
|
|
In order to make stable data
When analysis traffic data,
in order to get the correct results Object
Original data analysis
Outliers exclusion by MATLAB
MATLAB result
Outliers distinction
Conclusion
|
|
|
RANSAC 알고리즘의 필요성
일반적인 회귀 분석 방법은 데이터셋 내의 모든 데이터를 동일하게 취급하기 때문에, 노이즈나 이상치가 많은 경우 전체 모델의 성능이 저하될 수 있다. 이런 문제를 해결하기 위해 RANSAC은 다음과 같은 과정을 거친
|
|
|
이상치 탐지와 처리방법/ 주영선, 조교영/ 2016.01.13
통계청->통계청 소개->국가통계 기본원칙, 홈페이지 참고 1. 국가통계(공식통계)의 이용을 개인, 기업, 정부의 측면에서 설명하라.
2. 출생성비의 정의와 조출생률에 대한 성비의 변화
|
|
|
의 이상치를 파악하기 위한 검토방법을 설명하라(비중 20%)
이상치는 통계분석의 결과에 적절하지 않은 영향을 끼치기 때문에 특히 관심의 대상이 되어 왔다. 예를 들어 이상한 관찰치 들을 포함한 분석결과에서 평균은 좌나 우로 치우칠 수
|
|
 |
이상치가 포함되어 있어 이를 바로 사용할 수 없었습니다. 저는 먼저 데이터 전처리를 통해 결측치를 선형 회귀법과 평균값 대체 기법을 이용해 처리하고, 이상치 탐지 알고리즘을 적용하여 데이터의 신뢰성을 높였습니다. 이를 통해 데이터
|
|
 |
분석하고, 이상치를 찾아내어 문제를 해결한 바 있습니다. 이러한 경험은 G마켓에서도 유사한 문제를 해결하는 데 큰 도움이 될 것입니다.
셋째로, 지속적인 자기 개발에 대한 의지입니다. 저는 변화하는 트렌드와 기술에 뒤처지지 않기 위해
|
|
 |
지 알고리즘 설계 업무를 담당했습니다. 실제 센서 데이터가 누락되거나 이상치를 출력할 경우 자동으로 로그를 생성하고 관리자에게 알람을 전송하는 로직을 설계하였습니다. 또한 테스트 데이터를 기반으로 시스템 안정성을 수치화하여
|
|
 |
경험이 이탈로 이어졌는지를 파악하려 합니다.
10. 분석을 하다가 막혔을 때 어떻게 해결하나요?
먼저 문제를 작은 단위로 쪼개서 접근합니다. 전체적으로 안 보일 때는, 전처리가 잘 되었는지, 변수 간 상관관계는 어떤지, 데이터에 이상치는
|
|
 |
이상치를 제거하고, 정규화를 수행하며, 데이터 샘플링을 통해 균형 잡힌 학습 데이터를 제공하는 것이 필수적입니다."
- 이노션에서 데이터 엔지니어로서 기여하고 싶은 부분은 무엇인가요?
"이노션의 데이터 파이프라인을 최적화하여 실
|
|
메뉴펼치기
