Presto: 분산 SQL 쿼리 엔진 구축의 모든 것 🚀

안녕, 친구들! 오늘은 정말 흥미진진한 주제로 여러분과 함께할 거야. 바로 Presto라는 분산 SQL 쿼리 엔진에 대해 깊이 파헤쳐볼 거거든. 😎 데이터베이스와 서버에 관심 있는 친구들이라면 귀가 쫑긋 서겠지? 자, 그럼 시작해볼까?

Presto란 뭘까? 🤔

Presto는 Facebook에서 개발한 오픈 소스 분산 SQL 쿼리 엔진이야. 어, 잠깐! '분산'이라는 말에 겁먹지 마. 쉽게 설명해줄게.

imagine 네가 엄청 큰 도서관에 있다고 생각해봐. 이 도서관에는 수백만 권의 책이 있어. 근데 넌 특정 정보를 찾아야 해. 혼자서 이 모든 책을 뒤지려면 평생이 걸릴 거야. 그래서 뭘 할까? 바로 친구들을 불러 도와달라고 할 거야, 맞지?

Presto가 하는 일이 바로 이거야. 엄청나게 큰 데이터셋에서 정보를 찾을 때, Presto는 이 작업을 여러 컴퓨터에 나눠서 처리해. 마치 네가 친구들과 함께 도서관을 뒤지는 것처럼 말이야. 그래서 엄청 빠르게 결과를 얻을 수 있지. 😮

위의 그림을 보면, 중앙의 큰 원이 Presto 엔진이고, 주변의 작은 원들이 각각의 워커(일꾼)들이야. 이 워커들이 협력해서 빠르게 데이터를 처리하는 거지.

Presto의 특징 🌟

자, 이제 Presto가 뭔지 대충 감이 왔지? 그럼 Presto의 주요 특징들을 좀 더 자세히 알아볼까?

• 빠른 속도 🚀: Presto는 메모리 기반으로 동작해서 디스크 I/O를 최소화해. 그래서 엄청 빠르지!
• 다양한 데이터 소스 지원 🌐: Presto는 HDFS, Amazon S3, MySQL, PostgreSQL 등 다양한 데이터 소스를 지원해.
• ANSI SQL 호환 📜: 표준 SQL을 사용할 수 있어서 배우기 쉽고 사용하기 편해.
• 확장성 📈: 필요에 따라 쉽게 확장할 수 있어. 데이터가 늘어나도 걱정 없어!
• 실시간 쿼리 💨: 대화형 분석에 적합해서 실시간으로 데이터를 분석할 수 있어.

어때? 꽤 멋진 특징들이지? 이런 특징들 덕분에 Presto는 빅데이터 분석 분야에서 인기 만점이야. 특히 데이터 과학자나 분석가들에게 사랑받고 있지.

Presto의 구조 🏗️

자, 이제 Presto의 내부 구조를 좀 더 자세히 들여다볼 시간이야. Presto는 크게 세 가지 주요 컴포넌트로 구성되어 있어:

1. Coordinator 👑: 쿼리 관리와 작업 분배를 담당해.
2. Worker 🛠️: 실제 데이터 처리를 수행해.
3. Connector 🔌: 다양한 데이터 소스와의 연결을 담당해.

이 세 가지 컴포넌트가 어떻게 협력하는지 좀 더 자세히 알아볼까?

1. Coordinator (코디네이터) 👑

코디네이터는 Presto 클러스터의 두뇌 역할을 해. 주요 임무는 다음과 같아:

• 클라이언트로부터 쿼리를 받아들이고 파싱해.
• 쿼리 실행 계획을 세워.
• 작업을 여러 워커들에게 분배해.
• 워커들의 작업 진행 상황을 모니터링해.
• 최종 결과를 클라이언트에게 전달해.

코디네이터는 마치 프로젝트 매니저와 같아. 전체적인 그림을 보면서 일을 효율적으로 분배하고 관리하는 거지.

2. Worker (워커) 🛠️

워커는 실제로 데이터를 처리하는 일꾼이야. 주요 임무는 이래:

• 코디네이터로부터 받은 작업을 실행해.
• 데이터를 읽고, 필터링하고, 집계하는 등의 실제 연산을 수행해.
• 처리 결과를 다른 워커나 코디네이터에게 전달해.

워커들은 여러 대의 서버에 분산되어 있어서 대규모 데이터를 병렬로 처리할 수 있어. 이게 바로 Presto가 빠른 이유 중 하나지!

3. Connector (커넥터) 🔌

커넥터는 Presto와 다양한 데이터 소스를 연결해주는 다리 역할을 해. 주요 기능은 이래:

• 다양한 데이터 소스(예: MySQL, PostgreSQL, Hive, Cassandra 등)와의 연결을 관리해.
• 데이터 소스의 특성에 맞게 데이터를 읽고 쓰는 방법을 제공해.
• 데이터 소스의 메타데이터(테이블 구조, 통계 정보 등)를 Presto에게 제공해.

커넥터 덕분에 Presto는 다양한 종류의 데이터를 마치 하나의 데이터베이스처럼 쿼리할 수 있어. 정말 편리하지?

Presto의 동작 원리 🔄

자, 이제 Presto의 구조를 알았으니 실제로 어떻게 동작하는지 알아볼까? Presto가 쿼리를 처리하는 과정을 단계별로 살펴보자.

1. 쿼리 제출 📤: 사용자가 Presto 클라이언트를 통해 SQL 쿼리를 제출해.
2. 쿼리 파싱 및 분석 🔍: Coordinator가 쿼리를 파싱하고 분석해.
3. 실행 계획 생성 📊: Coordinator가 최적화된 실행 계획을 만들어.
4. 작업 분배 🔀: Coordinator가 실행 계획을 작은 작업들로 나누고, 이를 Worker들에게 분배해.
5. 데이터 처리 💻: Worker들이 할당받은 작업을 수행하고 결과를 생성해.
6. 결과 수집 🧩: Coordinator가 Worker들로부터 결과를 수집하고 조합해.
7. 결과 반환 📥: 최종 결과를 사용자에게 반환해.

이 과정을 좀 더 자세히 살펴볼까?

1. 쿼리 제출 📤

모든 것은 사용자가 쿼리를 제출하면서 시작돼. 사용자는 Presto CLI, JDBC 드라이버, 또는 다른 클라이언트 도구를 사용해서 SQL 쿼리를 Presto 클러스터에 보내.

예를 들어, 이런 쿼리를 보낼 수 있어:

SELECT customer_name, SUM(order_total)
FROM orders
JOIN customers ON orders.customer_id = customers.id
WHERE order_date >= DATE '2023-01-01'
GROUP BY customer_name
ORDER BY SUM(order_total) DESC
LIMIT 10;

이 쿼리는 2023년 이후의 주문 데이터를 기반으로 상위 10명의 고객을 주문 총액 기준으로 정렬해서 보여줘.

2. 쿼리 파싱 및 분석 🔍

Coordinator가 이 쿼리를 받으면, 먼저 SQL 파서를 사용해 쿼리를 파싱해. 이 과정에서 쿼리의 문법이 올바른지 확인하고, 쿼리를 내부적으로 이해할 수 있는 형태로 변환해.

그 다음, Coordinator는 쿼리를 분석해. 이 단계에서는:

• 테이블과 컬럼이 실제로 존재하는지 확인해.
• 조인 조건이 유효한지 검사해.
• 필요한 데이터 소스를 식별해.
• 쿼리에 사용된 함수나 연산자가 올바른지 확인해.

만약 이 과정에서 문제가 발견되면, Presto는 에러 메시지를 반환해. 예를 들어, 존재하지 않는 테이블이나 컬럼을 참조하면 이런 에러가 발생할 수 있어:

ERROR: Table 'non_existent_table' does not exist

3. 실행 계획 생성 📊

쿼리가 유효하다고 판단되면, Coordinator는 실행 계획을 생성해. 이 계획은 쿼리를 어떻게 효율적으로 실행할지를 결정해.

실행 계획은 보통 트리 구조로 표현돼. 각 노드는 특정 연산(예: 테이블 스캔, 필터, 조인, 집계 등)을 나타내고, 노드 간의 관계는 데이터 흐름을 나타내.

예를 들어, 우리의 쿼리에 대한 간단한 실행 계획은 이런 모습일 수 있어:

- Limit (10)
  - Sort (SUM(order_total) DESC)
    - Aggregate (GROUP BY customer_name, SUM(order_total))
      - Join (orders.customer_id = customers.id)
        - Scan orders (filter: order_date >= DATE '2023-01-01')
        - Scan customers

이 계획은 아래에서 위로 읽어야 해. 즉, 먼저 orders와 customers 테이블을 스캔하고, 조인한 다음, 집계하고, 정렬한 후 최종적으로 상위 10개 결과만 반환한다는 뜻이야.

4. 작업 분배 🔀

실행 계획이 준비되면, Coordinator는 이를 작은 작업 단위로 나눠 Worker들에게 분배해. 각 작업은 실행 계획의 일부를 담당하게 돼.

예를 들어:

• Worker 1: orders 테이블의 일부를 스캔하고 필터링
• Worker 2: orders 테이블의 다른 부분을 스캔하고 필터링
• Worker 3: customers 테이블 스캔

이렇게 나누면 여러 Worker가 동시에 일할 수 있어서 전체적인 처리 속도가 빨라져.

5. 데이터 처리 💻

각 Worker는 할당받은 작업을 수행해. 이 과정에서 Worker들은:

• 필요한 데이터를 읽어와 (이 때 커넥터를 사용해)
• 필터링, 조인, 집계 등의 연산을 수행하고
• 중간 결과를 생성해

Worker들은 서로 통신하면서 필요한 데이터를 주고받을 수 있어. 예를 들어, 조인 연산을 수행할 때 한 Worker가 다른 Worker에게 데이터를 요청할 수 있지.

6. 결과 수집 🧩

Worker들이 작업을 마치면, Coordinator가 각 Worker로부터 결과를 수집해. 이 과정에서 Coordinator는:

• 부분 결과들을 조합하고
• 필요하다면 추가적인 처리(예: 최종 정렬이나 집계)를 수행해

우리 예제 쿼리의 경우, 이 단계에서 각 고객별 주문 총액이 계산되고, 그 결과가 정렬돼.

7. 결과 반환 📥

마 마지막으로, Coordinator는 최종 결과를 사용자에게 반환해. 우리 예제 쿼리의 경우, 상위 10명의 고객 이름과 그들의 주문 총액이 반환될 거야.

결과는 이런 모습일 수 있어:

customer_name    | total_order_amount
-----------------+--------------------
John Doe         | 15000.00
Jane Smith       | 12500.50
Robert Johnson   | 11200.75
...

이렇게 해서 Presto의 전체 쿼리 처리 과정이 완료돼. 정말 복잡해 보이지만, 이 모든 과정이 몇 초 만에 일어난다는 게 놀랍지 않아? 😮

EXPLAIN SELECT * FROM my_table WHERE id > 1000;

Presto의 장단점 ⚖️

자, 이제 Presto가 어떻게 동작하는지 알았으니, 이 기술의 장단점을 살펴볼까?

장점 👍