나를 잃지 말자

Data serialization (encoding, marshalling) is the process of converting structured data to a format that allows sharing or storage of the data in a form that allows recovery of its original structure.

즉, 정형데이터(table)을 전달/저장이 가능하고 수신자/다시 볼 사람 이 로드하였을 때 원본을 다시 볼 수 있는 format으로 converting하는 과정이다.

아래에는 Data serialization의 예를 살펴보자.

Parquet:

column-wise

binary format(따라서 not human-readable)

column-by-column compression(따라서 각 column마다 different encoding type가능)

Avro:

row-wise

binary format(따라서 not human-readable)

robust support for schemas(that change over time)

(schema definition written together with the data in a file)

CSV(Comma Separated Values)

tabular data(each line have the same number of fields)

human-readable

JSON(JavaScript Object Notation):

key:value encoding format

lightweight data-interchange format(적은 용량으로 수신자/송신자 사이 데이터 교환에서 데이터 손실이 거의 없는 가벼운 형식)

human-readable

easy for machine to parse and generate

(value는 큰따옴표안에 string, number ,true ,false , null, object ,array이 올수 있다.)

YAML(YAML Ain't Markup Language):

human-readable

minimalistic syntax

(주로 configuration에 사용)

(아래 참고자료에 사용 예시가 잘 나와 있음)

XML(eXtensible Markup Language):

markup language

human-readable

참고자료:

150+ Concepts Heard in Data Engineering | by Dardan Xhymshiti | Towards Data Science

R, Python 분석과 프로그래밍의 친구 (by R Friend) :: [Python] PyYAML로 YAML 파일 읽고 쓰기 (Parse and Serialize YAML in Python) (tistory.com)

멀티프로그래밍:

메모리에 여러 프로그램을 올려둔 다음

한 프로세스가 대기 상태가 되면 다른 프로세스의 작업을 수행

즉 CPU입장에서는 쉬지않고 일하여 효율적임

멀티태스킹(=시분할 시스템, time sharing):

프로세스마다 작업 시간을 정해두고 번갈아가면서 작업하는 방식

(사용자는 마치 여러 프로세스가 동시에 진행되는 것처럼 "보이게" 됨, 실제론 동시가 아니라 프로세서가 왔다리 갔다리 하는 중)