데이터 μ „ν™˜ μ™„λ²½ κ°€μ΄λ“œ

좜제 λΉˆλ„: ν•˜
빈좜 νƒœκ·Έ: ETL, 데이터 μ •ν•©μ„±, 데이터 관리 μ±…μž„

데이터 μ „ν™˜ ν”„λ‘œκ·Έλž¨ κ΅¬ν˜„

ETL (Extraction, Transformation, Loading)

  • μ •μ˜: 데이터 이관을 μœ„ν•œ μΆ”μΆœ(Extraction), λ³€ν™˜(Transformation), 적재(Loading) κ³Όμ •
  • λͺ©μ : κΈ°μ‘΄ μ‹œμŠ€ν…œμ˜ 데이터λ₯Ό λͺ©ν‘œ μ‹œμŠ€ν…œμ— μ ν•©ν•œ ν˜•μ‹μœΌλ‘œ λ³€ν™˜ν•˜μ—¬ 이관

데이터 μ „ν™˜ μ „λž΅

  • 절차의 ν‘œμ€€ν™”
  • 검증 인원 배치λ₯Ό ν†΅ν•œ νš¨μœ¨μ„±κ³Ό μ•ˆμ •μ„± 확보
  • μš°μ„ μˆœμœ„ κ²°μ •
  • 데이터 ν‘œμ€€ν™” μ „ν™˜
  • μ‹œλ‚˜λ¦¬μ˜€ ꡬ성

데이터 μ „ν™˜ 절차

μ‹œμŠ€ν…œ 개발 ν”„λ‘œμ νŠΈμ™€ μœ μ‚¬ν•˜κ²Œ 진행:

  • μš”κ΅¬μ‚¬ν•­ 뢄석
  • 섀계
  • κ΅¬ν˜„
  • ν…ŒμŠ€νŠΈ

데이터 μ „ν™˜ ν”„λ‘œμ„ΈμŠ€

1. κ³„νš 및 μš”κ±΄ μ •μ˜

  • ν˜„ν–‰ 정보 μ‹œμŠ€ν…œ(As-Is) 뢄석
  • λͺ©ν‘œ μ‹œμŠ€ν…œ(To-Be) 뢄석
  • μ „ν™˜ κ³„νš 수립

2. 섀계 단계

  • 데이터 μ „ν™˜ μš”κ±΄ 뢄석
  • 업무 흐름 뢄석
  • 데이터 맀핑 섀계
  • κ²€μ¦κ·œμΉ™ 섀계

3. 개발 단계

  • μ „ν™˜ μ„€κ³„μ„œ 기반 ν”„λ‘œκ·Έλž¨ κ΅¬ν˜„
  • μ£Όμš” μž‘μ—…:
    • μ „ν™˜ 개발 ν™˜κ²½ ꡬ좕
    • μ „ν™˜ ν”„λ‘œκ·Έλž¨ 개발
    • 검증 ν”„λ‘œκ·Έλž¨ 개발

4. ν…ŒμŠ€νŠΈ 및 검증 단계

5. μ „ν™˜ 단계

μ›μ²œ μ‹œμŠ€ν…œ 데이터λ₯Ό λͺ©ν‘œ μ‹œμŠ€ν…œμ— 적재

μ „ν™˜ 방식

  1. SQL 슀크립트 직접 λ³€ν™˜ (μ†ŒμŠ€ DB β†’ λͺ©μ  DB)
  2. ν”„λ‘œκ·Έλž¨ 직접 λ³€ν™˜ (μ†ŒμŠ€ DB β†’ λͺ©μ  DB)
  3. ν”„λ‘œκ·Έλž¨ 경유 λ³€ν™˜ (μ†ŒμŠ€ DB β†’ μ€‘κ°„νŒŒμΌ β†’ λͺ©μ  DB)

데이터 μ •ν•©μ„± 검증

검증 λ°©μ•ˆ

  1. μ°Έμ‘° 무결성

  2. μ‚°μˆ μ  μ •λ‹Ήμ„± (ν•„μˆ˜ 진행)
    • 합계 일치 확인
    • 건수 일치 확인
    • λ²”μœ„κ°’ 일치 확인
  3. 물리적 μ •λ‹Ήμ„± (ν’ˆμ§ˆ ν–₯μƒμš©)
    • 데이터 관리 μ •μ±…
    • ν‘œμ€€ 관리
    • λ³΄μ•ˆ 관리
    • 업무적 적합성

ν•„μˆ˜ 검증 ν”„λ‘œμ„ΈμŠ€

  • 데이터 μ •μ œ 반영 확인
  • μΌμΉ˜μ„± 확인

물리 객체 검증

  • 적재 ν›„ Table별 인덱슀 수 확인
  • 인덱슀 λ‚΄μš© 확인
  • ν’ˆμ§ˆ ν–₯상을 μœ„ν•œ 선택적 μ‹€μ‹œ

데이터 관리 μ±…μž„κ³Ό μ—­ν• 

CIO/EDA

  • 관점: κ°œκ΄„μ 
  • μ—­ν• : 관리 총괄 μ •μ±… 수립

DA (Data Architect)

  • 관점: κ°œλ…μ 
  • μ—­ν• : 데이터 ν‘œμ€€ 개발 및 μ‘°μ •

Modeler

  • 관점: 논리적
  • μ—­ν• : 데이터 λͺ¨λΈλ§ μˆ˜ν–‰

DBA (Database Administrator)

  • 관점: 물리적
  • μ—­ν• :
    • 데이터 ν˜•μƒκ΄€λ¦¬ μˆ˜ν–‰
    • λ³΄μ•ˆ μ„€μ • λ‹΄λ‹Ή

User

  • 관점: 운용적
  • μ—­ν• : λ°μ΄ν„°λ² μ΄μŠ€ ν™œμš©