[IT 회사에서 살아남기] IT 회사 기본 용어 - (2) Data 분야

※ 데이터 저장 / 관리 

 

• Data Lake: 정형·비정형 데이터를 원본 그대로 저장
                      - 스키마 유연
                      - 예: Amazon S3, Google Cloud Storage, Azure Blob
• Data Warehouse (DWH): 정형 데이터 중심의 구조화된 저장소
                                            - 명확한 스키마
                                            - 예: Amazon Redshift, Google BigQuery, Snowflake
• Data Mart: 특정 목적에 맞춘 소규모 데이터 저장소
                      - Data Warehouse의 하위 개념
• Data Lakehouse: Data Lake의 유연함 + Data Warehouse의 성능/정합성
• DBMS (Database Management System): 데이터를 저장·관리하는 시스템
                                                                       - 예: Oracle, MySQL, PostgreSQL, MongoDB
• RDB (Relational Database): 테이블 기반 관계형 데이터베이스
                                                  - SQL 사용
• HDFS (Hadoop Distributed File System): Hadoop 기반 분산 파일 시스템

---

※ 데이터 처리 / 운영 

 

• CDC (Change Data Capture): 데이터 변경 사항만 추적하여 처리
• ETL (Extract, Transform, Load): 데이터 추출 → 변환 → 적재
                                                          - 예: Informatica PowerCenter, Talend, SSIS
• MLOps (Machine Learning Operations): ML 모델의 개발·배포·운영·모니터링 자동화
                                                                      - 예: Dataiku, MLflow, Kubeflow, Databricks

---

※ 데이터 아키텍처 / 전략 

 

• Data Fabric: 이기종 데이터 환경을 연결·통합하는 데이터 아키텍처
• Data Mesh: 도메인 중심의 분산 데이터 아키텍처

---

※ 비즈니스 / 고객 데이터 활용 

 

• MDM (Master Data Management): 기업 내 핵심 기준 데이터 통합 관리 체계
• CDP (Customer Data Platform): 고객 데이터를 통합해 분석·마케팅에 활용하는 플랫폼
• CRM (Customer Relationship Management): 고객 관계 관리 및 영업·서비스 지원 시스템