정훈님의 블로그

QA/QC 스파르타클럽 51일차 - SQLD

penguin — Mon, 27 Jul 2026 20:43:10 +0900

SQLD 학습 정리 - 데이터 모델링의 기초 이해

오늘은 SQLD 시험 범위 중 데이터 모델링의 기초 개념을 학습했다. SQL 문법을 배우기 전에 데이터베이스가 어떤 구조로 설계되고 관리되는지 이해하는 과정으로, 이후 배우게 될 데이터베이스 설계와 SQL 작성의 기반이 되는 중요한 내용이었다.

1. 데이터 모델링이란?

데이터 모델링은 현실 세계의 업무를 데이터베이스에서 사용할 수 있도록 구조화하는 과정이다.

단순히 데이터를 저장하는 것이 아니라 업무에서 필요한 데이터를 효율적으로 관리하고 활용할 수 있도록 설계하는 것이 목적이다.

데이터 모델링을 통해 얻을 수 있는 장점은 다음과 같다.

데이터 중복 최소화
데이터의 일관성과 정확성 유지
유지보수 및 확장 용이
업무 프로세스를 명확하게 표현 가능

즉, 좋은 데이터 모델은 데이터 품질뿐만 아니라 시스템의 성능과 유지관리에도 큰 영향을 미친다.

2. 데이터 모델링의 중요성

데이터베이스는 한 번 구축하면 오랫동안 사용되는 경우가 많기 때문에 초기 모델링이 매우 중요하다.

잘못 설계된 데이터 모델은

중복 데이터 발생
데이터 불일치
조회 성능 저하
유지보수 비용 증가

와 같은 문제를 발생시킬 수 있다.

반대로 체계적인 모델링은 데이터의 무결성을 보장하고 업무 변화에도 유연하게 대응할 수 있도록 도와준다.

3. 3층 스키마(Three Schema Architecture)

3층 스키마는 데이터베이스를 사용자와 시스템 관점에 따라 세 단계로 구분한 구조이다.

외부 스키마(External Schema)
- 사용자 또는 응용 프로그램이 바라보는 데이터 구조
- 사용자마다 서로 다른 화면(View)을 가질 수 있다.
개념 스키마(Conceptual Schema)
- 조직 전체의 데이터 구조를 정의하는 논리적 설계
- 데이터 간의 관계와 제약조건 등을 표현한다.
내부 스키마(Internal Schema)
- 실제 데이터가 저장되는 물리적인 구조
- 저장 방식, 인덱스, 파일 구조 등을 관리한다.

이 구조를 통해 사용자 화면과 실제 저장 구조를 분리하여 독립성을 확보할 수 있다.

4. 데이터 모델링의 구성 요소

데이터 모델링은 크게 세 가지 요소로 구성된다.

① 엔티티(Entity)

업무에서 관리해야 하는 대상이다.

예를 들어

고객
주문
상품
직원

등이 모두 엔티티가 될 수 있다.

② 속성(Attribute)

엔티티가 가지고 있는 세부 정보이다.

예를 들어 고객 엔티티라면

고객번호
이름
연락처
주소

등이 속성이 된다.

속성은 실제 데이터를 저장하는 최소 단위라고 이해하면 된다.

③ 관계(Relationship)

엔티티와 엔티티 사이의 연결 관계를 의미한다.

예를 들어

고객은 여러 개의 주문을 할 수 있다.
하나의 주문은 하나의 고객에게 속한다.

처럼 업무 규칙을 데이터 구조로 표현하는 역할을 한다.

5. ERD(Entity Relationship Diagram)

ERD는 데이터 모델을 그림으로 표현한 다이어그램이다.

엔티티, 속성, 관계를 시각적으로 나타내기 때문에 데이터 구조를 한눈에 이해할 수 있다.

ERD를 작성하면

데이터 구조 파악이 쉬워지고
개발자와 사용자 간 의사소통이 원활해지며
데이터베이스 설계 오류를 줄일 수 있다.

SQLD 시험에서도 ERD 해석 문제가 자주 출제되므로 구성 요소를 정확히 이해하는 것이 중요하다.

6. 엔티티(Entity)

엔티티는 실제 업무에서 관리해야 하는 객체이며 다음과 같은 특징을 가진다.

반드시 식별이 가능해야 한다.
두 개 이상의 인스턴스를 가져야 한다.
두 개 이상의 속성을 가져야 한다.
다른 엔티티와 관계를 가질 수 있다.

또한 엔티티는

유형 엔티티
개념 엔티티
사건 엔티티

등으로 구분할 수 있다.

7. 속성(Attribute)

속성은 엔티티를 설명하는 가장 작은 데이터 단위이다.

속성은 다음과 같이 구분된다.

기본 속성
설계 속성
파생 속성

특히 파생 속성은 다른 데이터를 계산하여 만들어지는 값이므로 과도하게 사용하는 것은 데이터 관리 측면에서 주의가 필요하다.

8. 관계(Relationship)

관계는 엔티티 간의 업무 규칙을 표현하는 요소이다.

대표적으로

1 : 1
1 : N
N : M

관계가 존재하며, 실제 데이터베이스에서는 N:M 관계를 그대로 사용하지 않고 중간 엔티티를 추가하여 해결하는 경우가 많다.

9. 식별자(Identifier)

식별자는 각 데이터를 유일하게 구분하는 값이다.

대표적인 예가 기본키(Primary Key)이다.

식별자는

유일성
최소성
불변성
존재성

이라는 특징을 만족해야 한다.

또한

주식별자
보조식별자
내부식별자
외부식별자

등으로 구분되며, 데이터베이스 설계에서 가장 중요한 요소 중 하나이다.

오늘 학습하며 느낀 점

오늘 학습한 내용은 SQL 문법을 배우기 전에 데이터베이스를 어떻게 설계하는지 이해하는 과정이었다. 처음에는 개념적인 내용이 많아 다소 어렵게 느껴졌지만, 결국 데이터 모델링은 현실의 업무를 데이터베이스 구조로 표현하는 작업이라는 점을 이해할 수 있었다.

특히 엔티티, 속성, 관계, 식별자는 이후 ERD 작성과 SQL 작성에서도 계속 등장하는 핵심 개념이므로 단순 암기보다는 실제 예시를 떠올리며 이해하는 것이 중요하다고 느꼈다. 앞으로 SQL 문법을 학습할 때도 이러한 데이터 구조를 함께 생각하며 공부하면 훨씬 이해가 쉬울 것 같다.

QA/QC 스파르타클럽 50일차 - 태블로

penguin — Fri, 24 Jul 2026 20:29:37 +0900

Tableau 실습 - 간트 차트와 제조 공정 대시보드 제작

오늘은 Tableau를 활용하여 제조 공정 데이터를 시각화하는 실습을 진행했다. 단순히 그래프를 그리는 수준을 넘어 실제 제조 현장에서 활용할 수 있는 형태의 대시보드를 만들어보며 다양한 기능을 익힐 수 있었다.

1. 간트(Gantt) 차트를 활용한 작업 일정 시각화

가장 먼저 작업 시작 시간과 종료 시간을 이용하여 간트 차트를 제작했다.

작업 시작 시간을 기준으로 시간 축 생성
DATEDIFF 함수를 이용해 작업 시간을 계산
작업 시간을 막대 길이(Size)로 활용하여 작업 구간 표현
막대 내부에 작업 시간을 레이블(Label)로 표시
색상과 레이블 정렬을 조정하여 가독성 개선

특히 간트 차트에서는 시간 차이를 그대로 사용하는 것이 아니라 날짜 축에서 사용할 수 있도록 적절한 단위로 변환해야 한다는 점을 새롭게 배웠다.

2. 장비별 생산 현황 비교 대시보드 제작

다음으로 장비별 생산 성과를 한눈에 비교할 수 있는 워크시트를 제작했다.

비교한 주요 지표는 다음과 같다.

생산 부품 수량
총 생산 시간
총 가동 중단 시간
목표 달성률

여러 Measure를 하나의 시트에서 비교하는 방법과 Measure Names, Measure Values의 개념을 이해할 수 있었으며, 동일한 축을 사용해 장비별 성능을 직관적으로 비교할 수 있었다.

3. 목표 달성률 계산과 집계 방식 이해

이번 실습에서 가장 많은 고민을 했던 부분은 목표 달성률 계산이었다.

처음에는 단순히

생산 부품 수량 합계
목표 생산량 합계

를 이용하여 계산했지만, 목표 생산량이 각 행마다 반복 기록되어 있다는 점 때문에 실제와 다른 결과가 나타났다.

이를 통해 Tableau에서는 단순히 SUM을 사용하는 것이 아니라 데이터 구조를 먼저 이해하고 적절한 집계 함수(MIN, MAX 등)를 선택하는 것이 중요하다는 점을 배울 수 있었다.

데이터를 시각화하기 전에 데이터가 어떤 의미로 저장되어 있는지를 먼저 파악해야 한다는 사실을 다시 한번 느꼈다.

4. 그래프 해석의 중요성

그래프를 만들고 나서도 결과를 그대로 받아들이지 않고 여러 의문을 가져보았다.

예를 들어

생산 시간이 긴데 가동 중단 시간도 긴 이유
생산량은 가장 많은데 목표 달성률이 낮게 나타나는 이유

등을 직접 분석하면서 단순히 그래프를 만드는 것이 아니라, 데이터의 구조와 집계 방식이 결과에 어떤 영향을 미치는지 고민해보는 시간을 가졌다.

데이터 시각화는 보기 좋은 그래프를 만드는 것이 아니라, 데이터를 올바르게 해석하는 과정이라는 점을 다시 한번 느낄 수 있었다.

5. Tableau의 다양한 기능 학습

추가적으로 다음과 같은 기능도 함께 익혔다.

계산된 필드(Calculated Field) 작성
집계 함수(SUM, AVG, MIN, MAX)의 활용
간트 차트 제작 방법
레이블(Label) 및 색상(Color) 설정
Measure Names / Measure Values 활용
캡션(Caption)의 개념과 활용
대시보드에서 여러 워크시트를 조합하는 방법

느낀 점

오늘 실습을 통해 Tableau는 단순한 시각화 도구가 아니라 데이터를 다양한 관점에서 분석하고 인사이트를 도출할 수 있도록 도와주는 분석 도구라는 것을 느꼈다. 특히 같은 데이터를 사용하더라도 집계 방식이나 계산식에 따라 결과가 크게 달라질 수 있다는 점이 매우 인상적이었다.

앞으로는 단순히 차트를 만드는 데 그치지 않고, 데이터의 구조를 먼저 이해하고 어떤 지표가 실제 업무에서 의미 있는지 고민하는 습관을 길러야겠다고 생각했다. 또한 제조 데이터를 활용한 다양한 대시보드를 직접 만들어 보면서 실무에서 활용할 수 있는 Tableau 활용 능력을 더욱 키워 나가고 싶다.

QA/QC 스파르타클럽 49일차 - 태블로

penguin — Thu, 23 Jul 2026 21:00:33 +0900

Tableau 개인과제 - 품질 관리 대시보드 제작 및 관리도 구현

오늘은 Tableau를 활용하여 제조 공정 데이터를 시각화하고, 실제 품질 관리 현장에서 활용할 수 있는 관리도(Control Chart) 형태의 대시보드를 제작해 보았다. 단순히 차트를 그리는 것을 넘어 계산 필드와 매개변수, 참조선 등을 활용하여 사용자가 원하는 기준에 따라 데이터를 동적으로 분석할 수 있도록 구현하는 과정을 학습했다.

관리도(Control Chart)의 이해

관리도는 시간의 흐름에 따른 공정 데이터를 시각화하여 공정이 정상 상태인지 여부를 판단하는 대표적인 품질 관리 도구이다.

시간에 따른 측정값(Result)을 선 그래프로 표현
관리상한(UCL)과 관리하한(LCL)을 기준으로 공정 이상 여부 판단
관리 한계를 벗어난 데이터를 즉시 식별하여 이상 공정을 조기에 발견

이를 통해 단순한 데이터 조회가 아닌 공정 상태를 직관적으로 모니터링할 수 있는 대시보드를 구현하였다.

계산 필드를 활용한 데이터 전처리

원본 데이터의 Timestamp는 문자열 형태로 저장되어 있었기 때문에 날짜와 시간 데이터를 활용하기 위해 계산 필드를 작성하였다.

DATEPARSE()

함수를 이용하여 문자열 데이터를 날짜 및 시간(DateTime) 형식으로 변환하고, 이후 시간 축을 기준으로 관리도를 작성할 수 있었다.

또한 관리 상태를 판단하기 위한 계산 필드를 생성하여 관리한계를 벗어난 데이터를 자동으로 구분하도록 구현하였다.

IF Result > UCL OR Result < LCL
THEN "관리한계 초과"
ELSE "정상"
END

계산 필드를 활용하면 조건에 따라 데이터를 자동으로 분류할 수 있으며, 다양한 시각화에도 동일한 로직을 재사용할 수 있다는 점을 학습하였다.

매개변수(Parameter)를 활용한 동적 분석

이번 과제에서는 UCL과 LCL을 고정된 값이 아닌 매개변수(Parameter) 로 생성하였다.

이를 통해 사용자가 직접 관리기준을 변경하면 그래프와 관리 상태가 실시간으로 변경되는 대시보드를 구현하였다.

매개변수를 활용하면

관리 기준 변경
목표값 변경
임계값 변경

등을 자유롭게 수행할 수 있어 실무에서 매우 활용도가 높다는 점을 알게 되었다.

참조선(Reference Line)과 참조구간(Reference Band)

관리도를 구현하기 위해 Tableau의 참조 기능도 함께 활용하였다.

참조선으로 UCL과 LCL 표시
참조구간(Reference Band)을 이용하여 정상 관리 범위를 회색으로 표시

이를 통해 사용자가 관리 범위를 직관적으로 확인할 수 있도록 구성하였다.

관리 한계가 명확하게 구분되면서 그래프의 가독성이 크게 향상되는 것을 확인할 수 있었다.

이중 축(Dual Axis)을 활용한 관리도 구현

단순 선 그래프만으로는 원하는 형태의 관리도를 표현하기 어려웠기 때문에 이중 축(Dual Axis)을 활용하였다.

첫 번째 축에는

관리도 선(Line)

두 번째 축에는

측정값(Point)

을 배치하여

정상 데이터는 파란색
관리한계 초과 데이터는 빨간색

으로 구분하였다.

또한 축 동기화(Synchronize Axis)를 통해 두 그래프가 동일한 축을 공유하도록 설정하여 보다 정확한 시각화를 구현하였다.

대시보드 구성

워크시트에서 작성한 여러 시각화를 하나의 대시보드로 구성하면서

KPI 카드
그래프 배치
컨테이너 활용
여백(Padding) 조정
정렬 및 크기 조절

등 레이아웃 구성 방법도 함께 학습하였다.

같은 데이터라도 배치 방식에 따라 전달력이 크게 달라질 수 있다는 점을 체감할 수 있었다.

오늘 새롭게 알게 된 내용

DATEPARSE()를 이용하여 문자열 데이터를 날짜 형식으로 변환할 수 있다.
계산 필드를 이용하면 조건에 따른 데이터 분류를 자동화할 수 있다.
매개변수(Parameter)를 활용하면 사용자가 직접 기준값을 변경할 수 있다.
참조선과 참조구간을 활용하면 관리도와 같은 품질 관리 시각화를 구현할 수 있다.
이중 축(Dual Axis)을 활용하면 선과 점을 각각 다른 방식으로 표현할 수 있다.
축 동기화는 이중 축 시각화에서 매우 중요한 설정이다.
대시보드에서는 컨테이너와 여백 조정을 통해 가독성을 높일 수 있다.

QA/QC 스파르타클럽 48일차 - ADSP

penguin — Wed, 22 Jul 2026 20:30:40 +0900

ADsP 3과목 5장 학습 정리: 정형 데이터 마이닝

오늘은 ADsP 3과목의 마지막 단원인 정형 데이터 마이닝에 대해 학습했다. 정형 데이터 마이닝은 일정한 구조를 가진 대규모 데이터에서 의미 있는 규칙과 패턴을 찾아내고, 이를 예측이나 의사결정에 활용하는 분석 방법이다.

이번 단원에서는 데이터 마이닝의 개념과 진행 절차를 시작으로 분류분석, 앙상블, 인공신경망, 군집분석, 연관분석의 특징과 활용 방법을 정리했다.

1. 데이터 마이닝의 개요

데이터 마이닝은 대규모 데이터에 숨어 있는 규칙과 패턴을 발견해 미래의 결과를 예측하거나, 의사결정에 활용하는 과정이다.

전통적인 통계분석이 가설을 설정하고 이를 검증하는 데 초점을 둔다면, 데이터 마이닝은 데이터 자체에서 새로운 패턴을 탐색하고 예측모형을 만드는 데 상대적으로 더 큰 목적을 둔다.

데이터 마이닝은 크게 정답이 있는 데이터를 사용하는 지도학습과 정답 없이 데이터의 구조를 찾는 비지도학습으로 구분할 수 있다.

지도학습: 분류분석, 회귀분석, 의사결정나무, 인공신경망 등
비지도학습: 군집분석, 연관분석, 자기조직화지도 등

데이터 마이닝의 일반적인 추진 과정은 다음과 같다.

목적 설정
데이터 준비
데이터 가공
분석기법 적용
결과 검증 및 활용

즉, 분석기법을 바로 적용하는 것이 아니라 먼저 해결할 문제와 목표를 명확히 설정하고, 분석에 적합하도록 데이터를 정리하는 과정이 중요하다.

2. 분류분석

분류분석은 기존 데이터의 특성과 결과를 학습한 후, 새로운 데이터가 어떤 범주에 속하는지를 예측하는 지도학습 방법이다.

예를 들어 제조 공정 데이터를 이용해 제품을 정상과 불량으로 분류하거나, 고객 데이터를 이용해 이탈 여부를 예측하는 문제에 활용할 수 있다.

대표적인 분류기법은 다음과 같다.

로지스틱 회귀분석
의사결정나무
K-최근접 이웃
나이브 베이즈
서포트 벡터 머신
인공신경망

로지스틱 회귀분석

로지스틱 회귀분석은 종속변수가 정상·불량, 성공·실패와 같은 범주형 변수일 때 사용하는 방법이다.

분석 결과를 0과 1 사이의 확률로 변환하며, 특정 사건이 발생할 가능성을 예측할 수 있다. 이때 성공확률과 실패확률의 비율을 오즈, 오즈에 로그를 취한 값을 로그 오즈라고 한다.

의사결정나무

의사결정나무는 데이터의 특성에 따라 조건을 반복적으로 나누어 최종 결과를 예측하는 분석방법이다.

분석 결과가 나무 형태로 표현되기 때문에 다른 모델에 비해 해석이 쉽고, 범주형 변수와 연속형 변수를 모두 사용할 수 있다는 장점이 있다.

다만 나무가 지나치게 복잡해지면 학습 데이터에 과도하게 맞춰지는 과적합이 발생할 수 있으므로 가지치기와 같은 과정이 필요하다.

3. 앙상블 분석

앙상블은 여러 개의 모델을 결합해 하나의 모델보다 더 안정적이고 높은 예측성능을 얻는 방법이다.

각 모델이 서로 다른 오류를 범하더라도 여러 결과를 종합하면 개별 모델의 약점을 보완할 수 있다.

배깅

배깅은 원본 데이터에서 여러 개의 표본을 복원추출하고, 각 표본으로 모델을 학습한 뒤 결과를 종합하는 방식이다.

대표적인 알고리즘으로 랜덤 포레스트가 있으며, 여러 개의 의사결정나무 결과를 투표하거나 평균 내어 최종 결과를 결정한다.

배깅은 주로 모델의 분산을 줄이고 과적합을 완화하는 데 효과적이다.

부스팅

부스팅은 이전 모델이 잘못 예측한 데이터에 더 큰 가중치를 부여하며 모델을 순차적으로 학습하는 방법이다.

약한 학습기를 여러 번 보완해 강한 학습기를 만드는 방식이며, AdaBoost와 Gradient Boosting 등이 대표적이다.

예측성능이 높을 수 있지만 이상치와 잡음에 민감하고, 순차적으로 학습하기 때문에 계산시간이 길어질 수 있다.

4. 인공신경망

인공신경망은 인간의 신경세포 연결구조를 모방한 분석모형으로, 입력층·은닉층·출력층으로 구성된다.

각 노드는 입력값에 가중치를 적용하고 활성화 함수를 통과시켜 다음 계층으로 결과를 전달한다.

학습 과정에서는 실제값과 예측값의 차이를 계산한 뒤, 역전파를 통해 오차를 줄이는 방향으로 가중치를 수정한다.

인공신경망은 복잡한 비선형 관계를 학습할 수 있다는 장점이 있지만, 학습 과정과 결과를 명확하게 설명하기 어렵고 많은 데이터와 계산량이 필요할 수 있다.

주요 용어

가중치: 각 입력변수가 결과에 미치는 영향의 크기
활성화 함수: 입력값을 출력값으로 변환하는 함수
역전파: 출력 오차를 이전 계층으로 전달하며 가중치를 수정하는 과정
학습률: 한 번의 학습에서 가중치를 변경하는 정도
과적합: 학습 데이터에는 잘 맞지만 새로운 데이터에 대한 성능이 떨어지는 현상

5. 군집분석

군집분석은 정답이 없는 데이터를 비슷한 특성을 가진 집단으로 묶는 비지도학습 방법이다.

분류분석은 미리 정해진 정답을 예측하지만, 군집분석은 데이터 내부의 유사성을 바탕으로 새로운 그룹을 발견한다는 차이가 있다.

고객 세분화, 설비 운전상태 구분, 제품 유형 분류, 이상 패턴 탐색 등에 활용할 수 있다.

계층적 군집분석

계층적 군집분석은 가까운 관측치부터 단계적으로 결합하거나, 하나의 큰 군집을 계속 나누는 방식이다.

분석 결과는 덴드로그램으로 표현할 수 있어 데이터가 군집으로 묶이는 과정을 시각적으로 확인할 수 있다.

K-means 군집분석

K-means는 분석자가 군집의 수 K를 미리 정한 후, 각 데이터를 가장 가까운 군집 중심에 배정하는 방법이다.

군집 배정과 중심점 갱신을 반복하면서 군집 내부의 거리를 최소화한다.

알고리즘이 단순하고 계산속도가 빠르지만, 초기 중심점과 K값에 따라 결과가 달라질 수 있고 이상치에 민감하다.

6. 연관분석

연관분석은 데이터에서 특정 항목들이 함께 발생하는 규칙을 찾는 비지도학습 방법이다.

대표적으로 장바구니 분석에서 “상품 A를 구매한 고객이 상품 B도 함께 구매하는가”와 같은 관계를 파악할 때 사용한다.

연관규칙은 일반적으로 다음 세 가지 지표로 평가한다.

지지도

전체 거래 중 항목 A와 B가 동시에 발생한 거래의 비율이다.

지지도가 높을수록 해당 조합이 데이터에서 자주 나타난다는 의미다.

신뢰도

항목 A가 발생한 거래 중 항목 B도 함께 발생한 비율이다.

즉, A가 발생했을 때 B가 발생할 조건부확률을 나타낸다.

향상도

A와 B가 서로 독립적으로 발생할 때와 비교해 실제로 얼마나 더 자주 함께 발생하는지를 나타낸다.

향상도 1: A와 B가 서로 독립
향상도 1 초과: 양의 연관관계
향상도 1 미만: 음의 연관관계

신뢰도가 높더라도 B 자체가 매우 자주 발생하는 항목이라면 의미가 과대평가될 수 있기 때문에, 지지도와 향상도를 함께 확인해야 한다.

7. 제조·품질관리 분야에서의 활용

정형 데이터 마이닝은 제조업의 품질관리와 공정개선에도 다양하게 활용할 수 있다.

분류분석으로 정상·불량 제품 예측
의사결정나무로 불량을 구분하는 주요 공정조건 확인
랜덤 포레스트와 부스팅으로 불량 예측성능 향상
군집분석으로 유사한 설비 운전상태와 불량 패턴 분류
연관분석으로 특정 공정조건과 불량 유형의 동시 발생 규칙 탐색
인공신경망으로 복잡한 공정변수와 품질 결과의 비선형 관계 학습

다만 모델의 예측 결과만으로 공정조건을 바로 변경하기보다는, 변수 중요도와 SHAP 분석, 통계검정, 현장 지식을 함께 활용해 결과의 타당성을 검증해야 한다.

8. 오늘 학습을 통해 알게 된 점

오늘 학습을 통해 데이터 마이닝은 단순히 높은 정확도의 모델을 만드는 과정이 아니라, 분석 목적에 맞는 기법을 선택하고 그 결과를 실제 의사결정에 연결하는 과정이라는 점을 알게 되었다.

또한 분류, 군집, 연관분석은 사용하는 데이터와 목적이 서로 다르기 때문에, 분석을 시작하기 전에 정답 변수의 존재 여부와 해결하려는 문제를 먼저 구분해야 한다.

특히 이전 프로젝트에서 사용했던 로지스틱 회귀, 의사결정나무, 랜덤 포레스트, XGBoost 등의 모델이 ADsP 이론에서 어떤 분류에 해당하는지 다시 정리할 수 있었다. 앞으로는 모델의 성능뿐 아니라 해석 가능성, 과적합, 데이터 품질, 현장 적용 가능성까지 함께 고려해야겠다고 생각했다.

QA/QC 스파르타클럽 47일차 - ADSP

penguin — Tue, 21 Jul 2026 19:30:44 +0900

ADSP 3과목 1~4장 학습 내용 요약

오늘은 ADSP 3과목인 데이터 분석의 1장부터 4장까지 학습하였다. 데이터 분석의 전체적인 흐름과 통계 분석의 기본 개념, 회귀분석, 분류분석까지 학습하면서 실제 데이터 분석 프로젝트에서 자주 활용되는 핵심 이론들을 정리할 수 있었다.

1. 데이터 분석의 이해

데이터 분석은 단순히 데이터를 계산하는 것이 아니라 데이터 속에서 의미 있는 패턴을 발견하고, 이를 바탕으로 의사결정을 지원하는 과정이다.

데이터 분석의 목적과 절차 이해
탐색적 데이터 분석(EDA)의 중요성
기술통계와 추론통계의 차이
모집단과 표본의 개념
변수의 종류(연속형, 범주형 등)
척도의 종류(명목척도, 서열척도, 등간척도, 비율척도)

특히 분석을 시작하기 전 데이터의 구조와 특성을 먼저 파악하는 과정이 매우 중요하다는 점을 다시 한번 확인할 수 있었다.

2. 통계분석

통계분석은 데이터를 객관적으로 해석하기 위한 기본적인 방법이다.

기술통계

평균, 중앙값, 최빈값
분산과 표준편차
사분위수와 박스플롯
왜도와 첨도

확률분포

정규분포
이항분포
포아송분포

가설검정

귀무가설과 대립가설
유의수준과 p-value
제1종 오류와 제2종 오류

검정 방법

t-test
ANOVA(분산분석)
카이제곱 검정

프로젝트를 진행하면서 사용했던 t-test와 카이제곱 검정이 ADSP에서도 중요한 개념으로 다뤄진다는 점을 확인할 수 있었다.

3. 회귀분석

회귀분석은 하나 이상의 독립변수를 이용하여 종속변수를 예측하는 분석 기법이다.

주요 학습 내용

단순선형회귀
다중선형회귀
회귀계수 해석
결정계수(R²)
잔차분석

회귀분석의 기본 가정

선형성
독립성
등분산성
정규성
다중공선성

특히 다중공선성은 VIF를 이용하여 확인할 수 있으며, 프로젝트에서 모델을 구축할 때도 중요한 요소라는 점을 이해하였다.

4. 분류분석

분류분석은 데이터를 미리 정의된 범주로 분류하는 분석 기법이다.

대표적인 분류모델

로지스틱 회귀
의사결정나무(Decision Tree)
랜덤포레스트(Random Forest)
나이브 베이즈
K-NN

모델 평가 지표

Accuracy(정확도)
Precision(정밀도)
Recall(재현율)
F1-Score
ROC Curve
ROC-AUC

최근 머신러닝 프로젝트에서 XGBoost, Random Forest, Logistic Regression 등을 활용하여 모델을 비교했던 경험과 연결되면서, 각각의 성능 지표가 어떤 의미를 가지는지 더욱 쉽게 이해할 수 있었다.

핵심 정리

데이터 분석은 문제 정의부터 결과 해석까지의 전체 과정을 포함한다.
통계분석은 데이터의 특성을 이해하고 가설을 검증하는 기본 도구이다.
회귀분석은 연속형 값을 예측하며 변수 간의 관계를 설명하는 데 활용된다.
분류분석은 데이터를 특정 범주로 예측하는 머신러닝 기법으로 다양한 모델과 평가 지표를 함께 이해하는 것이 중요하다.
실제 프로젝트에서는 데이터 전처리, 통계분석, 회귀분석, 분류모델 구축이 하나의 흐름으로 연결되어 진행된다는 점을 다시 한번 확인할 수 있었다.

학습 후기

이번 학습을 통해 ADSP 3과목에서 다루는 내용들이 단순한 시험 이론이 아니라 실제 데이터 분석 프로젝트와 매우 밀접하게 연결되어 있다는 점을 느꼈다. 특히 통계분석과 회귀분석, 분류분석은 최근 진행했던 머신러닝 프로젝트에서도 직접 활용했던 개념들이 많아 복습 효과가 컸다. 앞으로는 단순히 공식을 암기하는 것이 아니라 각각의 분석 기법이 어떤 상황에서 활용되는지 함께 이해하며 학습을 이어갈 계획이다.

QA/QC 스파르타클럽 46일차 - ADSP

penguin — Mon, 20 Jul 2026 19:39:19 +0900

ADSP 2과목 데이터 분석 기획 학습 내용 요약

학습 개요

오늘은 ADSP 2과목인 데이터 분석 기획을 학습했다. 데이터 분석 프로젝트를 수행하기 전에 어떤 문제를 해결할 것인지 정의하고, 목표를 설정하며, 프로젝트를 체계적으로 수행하기 위한 전체적인 절차를 이해하는 것이 핵심이었다. 분석 기술뿐만 아니라 비즈니스 관점에서 데이터를 바라보는 사고방식을 익히는 과정이었다.

1. 데이터 분석 기획의 이해

데이터 분석은 단순히 데이터를 분석하는 것이 아니라 비즈니스 문제를 해결하기 위한 과정이다.
분석을 시작하기 전에 해결해야 할 문제와 목표를 명확히 정의해야 한다.
데이터 분석 기획은 분석의 방향을 설정하고 프로젝트의 성공 가능성을 높이는 중요한 단계이다.

2. 데이터 분석 과제 도출

데이터 분석 과제는 다양한 방법으로 발굴할 수 있다.

하향식(Top-Down) 접근
- 비즈니스 문제를 먼저 정의한 후 필요한 데이터를 찾는 방식
상향식(Bottom-Up) 접근
- 보유한 데이터를 분석하여 새로운 문제나 기회를 발견하는 방식

실무에서는 두 가지 방법을 함께 활용하는 경우가 많으며, 문제와 데이터를 동시에 고려하는 것이 중요하다.

3. 분석 방법론

대표적인 데이터 분석 방법론을 학습하였다.

CRISP-DM
- 비즈니스 이해
- 데이터 이해
- 데이터 준비
- 모델링
- 평가
- 배포
KDD
- 데이터 선택
- 전처리
- 변환
- 데이터 마이닝
- 결과 해석

특히 ADSP에서는 CRISP-DM의 단계와 목적을 구분하는 문제가 자주 출제된다.

4. 분석 프로젝트 관리

데이터 분석 프로젝트를 수행할 때 고려해야 할 요소를 학습하였다.

프로젝트 목표 설정
일정 및 자원 관리
데이터 확보 여부
위험 요소 관리
이해관계자와의 의사소통

분석 성능뿐만 아니라 프로젝트를 계획대로 수행하는 능력도 매우 중요하다.

5. 분석 마스터 플랜

효율적인 분석을 위해 전체 로드맵을 수립하는 과정이다.

주요 구성 요소

분석 목표
우선순위
추진 일정
필요 인력
예산
기대 효과

기업에서는 단기 과제뿐 아니라 장기적인 데이터 활용 전략까지 함께 계획한다.

6. 분석 과제 우선순위 선정

모든 분석을 동시에 진행할 수 없기 때문에 우선순위를 결정해야 한다.

대표적인 평가 기준

비즈니스 중요도
구현 가능성
데이터 확보 가능성
기대 효과
수행 난이도

효과는 크고 난이도가 낮은 과제부터 수행하는 것이 일반적이다.

7. 데이터 분석 거버넌스

조직에서 데이터를 효율적으로 관리하기 위한 체계를 의미한다.

주요 내용

데이터 표준 관리
데이터 품질 관리
개인정보 보호
보안 관리
조직 및 역할 정의

데이터가 많더라도 관리 체계가 없다면 분석의 신뢰성이 떨어질 수 있다.

8. 데이터 분석 조직

기업은 목적에 따라 다양한 조직 형태를 운영한다.

집중형 조직
기능형 조직
분산형 조직

조직 규모와 업무 특성에 따라 적합한 운영 방식이 달라진다.

9. ADSP 시험 핵심 포인트

CRISP-DM과 KDD의 단계 비교
하향식·상향식 접근법 차이
분석 과제 도출 방법
분석 마스터 플랜 구성 요소
데이터 거버넌스 개념
분석 조직 유형
프로젝트 관리 요소

이 부분들은 ADSP에서 반복적으로 출제되는 핵심 내용이므로 반드시 구분해서 이해하는 것이 중요하다.

학습 후기

오늘 학습을 통해 데이터 분석은 단순히 모델을 만드는 기술이 아니라, 문제를 정의하고 프로젝트를 체계적으로 계획하는 과정이라는 점을 다시 한번 느꼈다. 특히 CRISP-DM과 같은 분석 방법론은 실제 데이터 분석 프로젝트에서도 그대로 활용되는 만큼 시험뿐 아니라 실무에서도 매우 중요한 개념이라는 것을 이해할 수 있었다. 앞으로는 분석 기획 단계부터 문제 정의와 목표 설정을 명확하게 수행하는 습관을 길러야겠다는 생각이 들었다.

QA/QC 스파르타클럽 45일차 - Tableau

penguin — Thu, 16 Jul 2026 20:10:29 +0900

Tableau 기능 학습과 메뉴 추천 대시보드 실습

오늘은 데이터 시각화 도구인 Tableau의 주요 기능을 익히고, 이를 실제로 활용해 보는 실습을 진행했다. Tableau의 개별 기능은 사용법 자체가 복잡하지 않지만, 원하는 결과를 만들기 위해 어떤 기능을 어디에서 사용해야 하는지 익히는 것이 중요하다고 느꼈다. 따라서 단순히 기능을 따라 하는 데 그치지 않고, 직접 주제를 선정해 대시보드를 구상하고 제작해 보았다.

Tableau 주요 기능 학습

오늘은 데이터 필드와 계산된 필드, 매개변수, 함수, 필터, 대시보드 구축 방법을 중심으로 학습했다.

데이터 필드는 원본 데이터셋에 존재하는 열을 의미하며, 필요에 따라 기존 필드를 활용해 새로운 분류 기준을 만들 수 있다. 예를 들어 가격 데이터를 바탕으로 저가, 중간 가격, 고가 메뉴와 같이 새로운 범주를 생성할 수 있다.

계산된 필드는 원본 데이터에 없는 값을 Tableau 내부의 계산식을 통해 만드는 기능이다. 여러 변수의 합계나 차이, 조건 충족 여부, 추천 점수 등을 생성할 수 있어 단순 시각화를 넘어 분석 목적에 맞는 새로운 정보를 도출할 수 있다.

또한 매개변수를 이용하면 사용자가 직접 입력하거나 선택한 값에 따라 결과가 달라지는 상호작용형 시트를 만들 수 있다. 매개변수 자체는 데이터를 필터링하지 않기 때문에, 계산된 필드와 함께 사용해야 실제 결과에 반영된다는 점도 확인했다.

메뉴 추천 데이터셋 구성

Tableau 기능을 실습하기 위한 주제로 음식 메뉴 추천 시스템을 선정했다. 먼저 Excel에서 약 70개의 메뉴를 포함하는 가상 데이터셋을 구성했다.

데이터셋에는 다음과 같은 항목을 포함했다.

메뉴명
음식 종류
가격
칼로리
매운맛
혼밥 적합도
건강도
평점

한식, 중식, 일식, 양식, 분식, 패스트푸드, 건강식, 동남아 음식 등 다양한 음식 종류를 포함해 사용자가 여러 조건을 적용했을 때 추천 결과가 달라지도록 구성했다. 가격과 칼로리처럼 비교적 객관적인 값뿐만 아니라, 혼밥 적합도와 건강도처럼 추천을 위해 임의로 평가한 값도 함께 포함했다.

이번 데이터는 실제 음식의 영양성분이나 가격을 정확하게 분석하기 위한 목적이 아니라 Tableau의 필터와 계산 기능을 실습하기 위한 교육용 데이터로 구성했다.

메뉴 추천 시트 제작

메뉴 추천 시트에서는 사용자가 원하는 조건을 입력하면 조건을 만족하는 음식만 남도록 구성했다.

사용자가 선택하는 주요 조건은 다음과 같다.

최대 예산
최대 칼로리
허용 가능한 매운맛
원하는 음식 종류

최대 예산, 최대 칼로리, 매운맛은 매개변수로 만들고, 음식 종류는 필터로 선택할 수 있도록 구성했다. 이후 계산된 필드를 이용해 각 음식이 사용자의 조건을 만족하는지 판단했다.

계산의 기본 구조는 다음과 같다.

가격이 최대 예산 이하이고,
칼로리가 최대 칼로리 이하이며,
매운맛이 허용 단계 이하이면
추천 후보로 분류

이를 Tableau 계산식으로 표현하면 다음과 같은 형태가 된다.

IF [가격] <= [최대 예산]
AND [칼로리] <= [최대 칼로리]
AND [매운맛] <= [허용 매운맛]
THEN "추천 후보"
ELSE "조건 미충족"
END

이 계산된 필드를 필터에 적용해 추천 후보만 표시하도록 했다. 사용자가 매개변수 값을 변경하면 추천 목록도 함께 바뀌기 때문에, 매개변수와 계산된 필드가 어떻게 연결되는지 직관적으로 확인할 수 있었다.

추천 후보가 여러 개일 때는 평점, 건강도, 혼밥 적합도를 활용해 추천 점수를 계산할 수 있도록 구상했다.

추천 점수 =
평점 × 10
+ 건강도 × 5
+ 혼밥 적합도 × 3

추천 점수를 기준으로 정렬하면 조건을 만족하는 메뉴 중 상대적으로 적합도가 높은 메뉴를 상위에 표시할 수 있다. 이를 통해 단순히 데이터를 필터링하는 것과, 여러 조건을 종합해 우선순위를 결정하는 것의 차이를 확인할 수 있었다.

대시보드 구성 방향

최종 대시보드는 크게 세 영역으로 구성할 수 있다.

왼쪽에는 최대 예산, 칼로리, 매운맛, 음식 종류와 같은 사용자 입력 조건을 배치한다. 가운데에는 추천 점수가 높은 메뉴 목록이나 추천 순위를 표시하고, 오른쪽에는 선택한 메뉴의 가격, 칼로리, 평점, 건강도 등의 상세 정보를 보여준다.

여러 시트를 하나의 대시보드에 배치하고 필터와 매개변수를 연결하면, 사용자의 선택에 따라 전체 화면이 함께 변하는 상호작용형 대시보드를 만들 수 있다.

포켓몬 실전 배틀 대시보드 구상

메뉴 추천 시트를 제작하는 것과 별개로, 포켓몬 실전 배틀에 활용할 수 있는 대시보드에 대해서도 고민해 보았다.

기존에 제작한 포켓몬 이름 검색 및 타입·종족값 출력 시트를 확장해, 단순한 포켓몬 정보 조회가 아니라 실제 배틀에서 의사결정을 지원할 수 있는 기능을 구상했다. 예를 들어 상대 포켓몬을 선택했을 때 타입 상성을 확인하거나, 내 포켓몬과 상대 포켓몬의 스피드를 비교하고, 팀 전체의 타입 약점을 분석하는 방식이다.

다만 개체값, 노력치, 성격, 기술 위력, 날씨, 특성, 아이템 등을 모두 반영한 정교한 대미지 계산기는 입력 요소와 계산 과정이 복잡해 Tableau보다는 웹 애플리케이션에 더 적합하다는 점을 알게 되었다.

따라서 Tableau에서는 완전한 배틀 계산기를 구현하기보다 다음과 같은 의사결정 지원형 대시보드가 현실적이라고 판단했다.

상대 포켓몬의 타입별 약점 확인
내 팀의 공통 약점 타입 분석
포켓몬 간 스피드 비교
상대 포켓몬을 상대로 유리한 후보 탐색
타입 상성과 능력치를 종합한 후보 정렬

이를 통해 Tableau가 복잡한 계산기를 만드는 도구라기보다, 여러 정보를 한 화면에 정리하고 사용자가 조건을 변경하며 비교할 수 있도록 지원하는 시각화 도구라는 점을 이해할 수 있었다.

오늘 학습하며 느낀 점

Tableau의 기능은 하나씩 보면 어렵지 않지만, 실제로 원하는 결과를 만들기 위해 어떤 기능을 조합해야 하는지 판단하는 과정이 중요했다. 특히 매개변수는 단독으로 결과를 변경하는 기능이 아니라 계산된 필드와 연결해야 한다는 점을 직접 실습하면서 이해할 수 있었다.

메뉴 추천 시트를 제작하며 조건 설정 → 계산된 필드 생성 → 추천 후보 필터링 → 추천 점수 계산 → 대시보드 구성의 전체 흐름을 경험했다. 단순한 차트 제작보다 사용자의 입력에 따라 결과가 변하는 시트를 만들어 보면서 Tableau의 상호작용 기능을 더욱 효과적으로 익힐 수 있었다.

또한 포켓몬 배틀 대시보드를 구상하는 과정에서, 도구에 따라 잘할 수 있는 역할이 다르다는 점도 배웠다. Tableau는 정교한 시뮬레이션보다 데이터 비교, 조건별 탐색, 결과 요약과 의사결정 지원에 강점이 있다. 앞으로도 단순히 기능을 외우기보다는 실제로 해결하고 싶은 문제를 먼저 정한 뒤, 그 목적에 맞는 기능을 하나씩 적용해 보는 방식으로 학습해 나가고자 한다.

QA/QC 스파르타클럽 44일차 - Tableau

penguin — Wed, 15 Jul 2026 20:31:33 +0900

Tableau 기초 학습 및 포켓몬 데이터 시각화 실습

오늘은 데이터 시각화 도구인 Tableau(Tableau Desktop)의 기초 기능을 학습했다. 이전까지는 Python(Matplotlib, Seaborn)을 활용해 그래프를 그려왔지만, Tableau는 코드를 작성하지 않고도 데이터를 다양한 형태로 시각화할 수 있다는 점이 가장 큰 특징이었다.

특히 데이터를 빠르게 탐색하고 대시보드를 구성할 수 있어 실무에서 데이터 분석 결과를 공유하거나 보고서를 제작할 때 많이 활용된다는 점을 알게 되었다.

● Tableau란?

Tableau는 데이터를 드래그 앤 드롭(Drag & Drop) 방식으로 쉽게 시각화할 수 있는 BI(Business Intelligence) 도구이다.

복잡한 코드를 작성하지 않아도 다양한 그래프를 만들 수 있으며, 여러 시트를 하나의 대시보드로 구성하여 데이터를 직관적으로 전달할 수 있다.

또한 다양한 데이터 파일(CSV, Excel, 데이터베이스 등)과 연동할 수 있으며, 실시간으로 데이터를 분석할 수 있다는 장점이 있다.

● 오늘 학습한 내용

- Tableau 설치 및 실행

먼저 Tableau Desktop을 설치한 후 기본 화면의 구성과 기능을 살펴보았다.

데이터 연결
시트(Sheet)
대시보드(Dashboard)
스토리(Story)
행(Row)과 열(Column)
마크(Marks) 카드

등 Tableau의 기본적인 인터페이스를 익혔다.

- 다양한 그래프 작성

데이터의 특성에 맞는 여러 시각화 방법을 실습하였다.

막대 차트(Bar Chart)
박스플롯(Box Plot)
산점도(Scatter Plot)
히스토그램(Histogram)

그래프마다 표현할 수 있는 정보가 다르기 때문에 분석 목적에 맞는 그래프를 선택하는 것이 중요하다는 점도 함께 배웠다.

예를 들어,

막대차트는 범주 간 비교
박스플롯은 데이터 분포와 이상치 확인
산점도는 변수 간 관계 분석
히스토그램은 데이터의 분포 확인

에 적합하다는 것을 이해할 수 있었다.

- 정렬과 필터 활용

Tableau에서는 정렬과 필터 기능을 매우 간단하게 적용할 수 있었다.

이를 활용하면

특정 조건의 데이터만 조회하거나
값이 큰 순서대로 정렬하거나
원하는 항목만 선택하여 분석하는 작업을 손쉽게 수행할 수 있었다.

데이터 탐색 과정에서 가장 자주 사용하는 기능이라는 점도 알게 되었다.

- 대시보드 및 시트 공유

완성한 시트를 하나의 대시보드로 구성하는 방법도 학습하였다.

여러 개의 그래프를 한 화면에 배치하여 분석 결과를 보기 쉽게 만들 수 있었으며,

완성된 결과는 Tableau Public 등을 이용하여 다른 사람과 쉽게 공유할 수 있다는 점도 확인하였다.

이는 프로젝트 결과 발표나 데이터 리포트 작성 시 매우 유용하게 활용될 수 있을 것 같다.

● 포켓몬 데이터 시각화 실습

오늘 학습한 내용을 바탕으로 1세대 포켓몬 데이터셋을 활용한 간단한 시각화 프로젝트를 진행하였다.

이번 실습에서는

포켓몬 이름
타입1
타입2
HP
공격
방어
특수공격
특수방어
스피드
종족값 합계

등의 정보를 Tableau에서 시각화하였다.

특히 이름 검색 기능을 추가하여 원하는 포켓몬을 입력하면 해당 포켓몬의 타입과 각 능력치(종족값)를 한눈에 확인할 수 있도록 시트를 구성하였다.

단순히 그래프를 만드는 것에서 끝나는 것이 아니라 필터와 검색 기능을 활용하여 사용자가 원하는 정보를 즉시 확인할 수 있는 인터랙티브한 시각화를 구현해 볼 수 있었다.

이를 통해 Tableau가 단순한 그래프 작성 도구가 아니라 사용자의 입력에 따라 결과가 달라지는 대화형 데이터 분석 도구라는 점을 체감할 수 있었다.

● 새롭게 알게 된 점

Tableau는 코딩 없이도 다양한 시각화를 빠르게 만들 수 있다.
대부분의 시각화는 드래그 앤 드롭만으로 구현할 수 있어 데이터 탐색 속도가 매우 빠르다.
하나의 데이터셋에서도 필터와 매개변수를 활용하면 다양한 관점에서 데이터를 분석할 수 있다.
여러 시트를 하나의 대시보드로 연결하면 분석 결과를 훨씬 직관적으로 전달할 수 있다.
Tableau는 Python으로 분석한 결과를 시각화하거나, 기업에서 KPI 대시보드를 제작하는 용도로도 널리 활용된다.

● 느낀 점

Python으로 직접 그래프를 작성할 때는 원하는 형태를 구현하기 위해 코드를 수정하는 시간이 많이 필요했지만, Tableau는 대부분의 작업을 마우스 조작만으로 수행할 수 있어 훨씬 빠르게 시각화를 만들 수 있었다.

반면 단순히 그래프를 만드는 것보다 어떤 차트를 선택해야 데이터를 가장 효과적으로 전달할 수 있는지를 고민하는 과정이 더욱 중요하다는 점도 느꼈다.

앞으로는 Tableau를 활용해 머신러닝 프로젝트나 제조 데이터 분석 결과를 대시보드 형태로 시각화하여, 분석 결과를 보다 직관적으로 전달하는 능력도 함께 키워 나가고 싶다.

QA/QC 스파르타클럽 43일차 - 심화 프로젝트 회고

penguin — Tue, 14 Jul 2026 20:25:05 +0900

2팀 - 반도체 LPCVD 공정 데이터 분석 프로젝트

분석 내용 요약

LPCVD 공정 데이터를 활용하여 공정 불량의 원인을 분석하고, 품질에 영향을 미치는 핵심 변수를 도출하였다.
머신러닝 모델과 Feature Importance, SHAP 분석을 통해 주요 공정 변수를 선정하고 공정 최적화 방향을 제시하였다.
최종적으로 공정 관리 기준을 개선하여 수율 향상을 목표로 분석을 수행하였다.

잘한 점

단순히 예측 모델을 만드는 것에서 끝나지 않고 SHAP을 활용하여 결과를 해석한 점이 좋았다.
Feature Importance와 SHAP을 함께 활용하여 실제 공정 개선으로 연결하려는 접근이 인상적이었다.
분석 결과를 현장에서 활용 가능한 관리 기준으로 연결하려는 점이 실무적인 프로젝트라고 느껴졌다.

3팀 - 반도체 전공정 데이터 기반 웨이퍼 불량 예측

분석 내용 요약

반도체 전공정 데이터를 활용하여 웨이퍼 불량을 예측하는 머신러닝 모델을 구축하였다.
공정별 데이터를 전처리하고 결측치를 처리한 뒤 다양한 모델을 비교하여 최적 모델을 선정하였다.
불량 발생 가능성을 사전에 예측하여 공정 품질 관리에 활용하는 것을 목표로 분석을 진행하였다.

잘한 점

프로젝트 목적과 문제 정의가 명확하여 전체 분석 흐름이 이해하기 쉬웠다.
데이터 전처리 과정을 체계적으로 정리하여 신뢰성을 높인 점이 좋았다.
실제 생산 공정에서 불량을 사전에 예측한다는 활용 목적이 분명하게 드러났다.

4팀 - IoT 센서 기반 제조설비 정비 필요 여부 분류모델 개발

분석 내용 요약

IoT 센서 데이터를 이용하여 설비의 정비 필요 여부를 예측하는 분류 모델을 개발하였다.
데이터 누수 가능성이 있는 변수를 검증하여 제외하고, 실제 예측 가능한 정보만을 사용하여 모델을 구축하였다.
예지보전(Predictive Maintenance) 관점에서 설비 이상을 조기에 탐지하는 방안을 제시하였다.

잘한 점

데이터 누수(Data Leakage)를 직접 검증하여 변수 선택에 반영한 점이 매우 인상적이었다.
단순한 성능 향상보다 실제 운영 환경에서 사용할 수 있는 모델을 만드는 데 집중한 점이 좋았다.
예지보전이라는 스마트팩토리 분야의 실무 문제를 데이터 분석으로 해결하려는 접근이 돋보였다.

오벤져스팀 - QbD 기반 제조 품질 요인 분석 및 평균 용출률 예측

분석 내용 요약

제약 제조 공정 데이터를 활용하여 평균 용출률을 예측하고 품질에 영향을 주는 핵심 요인을 분석하였다.
원자재(CMA), 공정 변수(CPP), 시계열 데이터를 통합하여 다양한 Feature Engineering을 수행하였다.
단계별 모델링을 통해 성능을 비교하고 품질 예측 성능 향상을 위한 최적의 Feature를 선정하였다.

잘한 점

QbD(Quality by Design) 개념을 프로젝트에 잘 반영하여 도메인 이해도가 높아 보였다.
Feature Engineering 과정을 매우 체계적으로 수행한 점이 인상적이었다.
모델 성능 비교 과정을 단계별로 제시하여 어떤 과정이 성능 향상에 기여했는지 쉽게 이해할 수 있었다.

QA/QC 스파르타클럽 42일차 - 심화 프로젝트

penguin — Mon, 13 Jul 2026 20:25:37 +0900

반도체 제조 공정 센서 데이터를 활용한 공정 최적화 프로젝트 회고

이번 프로젝트에서는 반도체 제조 공정에서 수집된 센서 데이터를 활용하여 불량을 예측하는 머신러닝 모델을 구축하고, 불량에 영향을 주는 핵심 공정 변수를 찾아 실제 관리기준까지 제안하는 프로젝트를 진행하였다.

기존의 단순한 예측 모델 제작에서 끝나는 것이 아니라 왜 불량이 발생하는지 설명할 수 있는 모델을 만들고, 실제 공정에서 활용 가능한 관리기준을 제시하는 것을 목표로 프로젝트를 수행하였다.

프로젝트 목표

이번 프로젝트에서 설정한 목표는 크게 네 가지였다.

머신러닝 기반 불량 예측 모델 제작
불량에 영향을 미치는 핵심 공정 변수 선정
SHAP 기반 관리기준 도출
SPC 관리도를 활용한 공정 개선 방안 제안

즉, 단순히 높은 정확도를 가진 모델을 만드는 것이 아니라 실제 현장에서 사용할 수 있는 데이터 기반 의사결정 도구를 만드는 것이 최종 목표였다.

프로젝트 진행 과정

프로젝트는 다음과 같은 순서로 진행하였다.

① 데이터 이해

데이터 구조 파악
변수 특성 분석
결측치 및 이상치 확인

② 데이터 전처리

중복 데이터 확인
결측치 처리 방법 비교
스케일링 및 KNN Imputer 적용
이상치 제거 여부 검토

③ 통계 분석

상관분석
T-test
변수별 영향도 확인

④ 머신러닝 모델 구축

Logistic Regression
Decision Tree
Random Forest
XGBoost
LightGBM

⑤ 모델 성능 개선

Cross Validation
Hyperparameter Tuning
Threshold Optimization
FLAML
AutoGluon 비교

⑥ 모델 해석

Feature Importance
SHAP Value 분석

⑦ 관리기준 작성

SHAP 변화량 기반 기준 설정
불량률 분석
SPC 관리도 작성

프로젝트에서 가장 많이 고민했던 부분

이번 프로젝트에서 가장 많은 시간을 사용했던 부분은 데이터 전처리였다.

처음에는 단순히 평균이나 중앙값으로 결측치를 대체하려고 했지만, KDE 그래프를 확인해 보니 원래 데이터 분포와 상당한 차이가 발생하였다.

그래서

평균
중앙값
KNN Imputer
MICE

를 모두 비교하였고,

원본 데이터의 분포를 가장 잘 유지하는 KNN Imputer를 최종적으로 선택하였다. 또한 KNN Imputer는 거리 기반 알고리즘이기 때문에 StandardScaler를 적용한 후 결측치를 대체하고, 다시 원래 스케일로 복원하는 과정도 함께 적용하였다.

이 과정을 통해 단순히 "결측치를 채웠다"가 아니라 왜 해당 방법을 선택했는지 근거를 제시할 수 있었다는 점이 의미 있었다.

머신러닝 모델 비교

이번 프로젝트에서는 다양한 머신러닝 모델을 비교하였다.

Logistic Regression
Decision Tree
Random Forest
XGBoost
LightGBM

먼저 Logistic Regression을 Base Model로 사용하여 기준 성능을 확인한 뒤, 다양한 트리 기반 모델과 비교하였다.

이후 5-Fold Stratified Cross Validation을 수행하여 모델의 일반화 성능을 비교하였으며, XGBoost가 가장 우수한 성능을 보여 최종 모델로 선정하였다.

성능 향상을 위한 다양한 시도

프로젝트를 진행하면서 단순히 모델 하나만 학습한 것이 아니라 성능을 높이기 위해 다양한 방법을 적용하였다.

RandomizedSearchCV를 이용한 하이퍼파라미터 튜닝
Optuna를 이용한 Threshold 최적화
FLAML 적용
AutoGluon 적용

특히 Threshold를 0.5로 고정하지 않고 최적 Threshold를 탐색하면서 Precision과 Recall의 균형을 맞추는 과정이 매우 인상 깊었다.

또한 최근 많이 활용되는 AutoML 도구도 직접 사용해 보면서 기존 머신러닝 모델과 비교해 볼 수 있었다.

가장 흥미로웠던 부분 : SHAP 분석

개인적으로 가장 재미있었던 부분은 SHAP 분석이었다.

기존에는 Feature Importance만 사용하면 어떤 변수가 중요한지는 알 수 있었지만, 어느 값부터 불량 위험이 증가하는지는 알기 어려웠다.

SHAP를 적용하면서

변수 중요도
SHAP 변화량
실제 불량률

을 함께 비교할 수 있었고,

이를 이용하여

주의 구간
경고 구간
위험 구간

이라는 실제 관리기준을 설정할 수 있었다.

즉, 단순히 "중요한 변수"를 찾는 수준에서 끝나지 않고 실제 현장에서 활용 가능한 관리기준을 제안할 수 있었다는 점이 가장 큰 성과라고 생각한다.

프로젝트 결과

최종적으로 선정된 관리기준을 적용하여 공정을 관리한 결과,

기존 약 20.22%였던 불량률을 14.40% 수준까지 감소시킬 수 있었다.

물론 실제 생산현장 데이터가 아니기 때문에 절대적인 수치로 해석하기는 어렵지만,

데이터 기반 관리기준만으로도 충분한 개선 효과를 확인할 수 있다는 점에서 의미 있는 결과라고 생각한다.

프로젝트를 진행하며 새롭게 배운 점

이번 프로젝트를 통해 단순히 머신러닝 모델을 만드는 것보다 분석 과정 전체를 설계하는 능력이 훨씬 중요하다는 것을 느꼈다.

특히 다음과 같은 내용을 깊이 있게 학습할 수 있었다.

데이터 전처리 방법에 따라 모델 성능이 크게 달라질 수 있다는 점
교차검증을 통해 모델의 일반화 성능을 평가하는 방법
하이퍼파라미터와 Threshold의 차이
SHAP를 이용한 모델 해석 방법
AutoML을 활용한 모델 자동 최적화
머신러닝 결과를 실제 공정 관리기준으로 연결하는 방법

무엇보다도 "예측"에서 끝나는 것이 아니라 설명 가능한 AI(Explainable AI)를 활용하여 실제 공정 개선까지 연결하는 과정을 경험했다는 점이 가장 큰 수확이었다.

프로젝트를 마치며

이번 프로젝트는 지금까지 진행했던 데이터 분석 프로젝트 중 가장 많은 고민과 시행착오가 있었던 프로젝트였다.

결측치 처리 방법부터 모델 선정, 하이퍼파라미터 튜닝, Threshold 최적화, SHAP 해석, 관리기준 도출까지 하나하나 직접 검토하며 분석을 진행하면서 머신러닝을 단순히 사용하는 수준을 넘어 왜 이러한 결과가 나왔는지 설명할 수 있는 분석을 경험할 수 있었다.

또한 품질관리 관점에서 데이터를 바라보는 시각도 많이 넓어졌다. 이전에는 높은 예측 성능 자체에 집중했다면, 이번 프로젝트를 통해서는 불량의 원인을 설명하고, 관리 가능한 기준을 제시하며, 실제 개선 효과를 검증하는 과정이 더 중요하다는 것을 깨달았다.

앞으로도 다양한 제조 데이터를 분석하며 데이터 기반 품질 개선 역량을 더욱 발전시켜 나가고 싶다.