개요

오늘 날 많은 애플리케이션은 계산 중심 (compute-intensive) 과는 다르게 데이터 중심 (data-intensive) 적이다.

데이터 중심 애플리케이션은 공통으로 필요로 하는 기능을 제공하는 표준 구성 요소(standard building block) 로 만든다.

표준 구성 요소는 다음과 같다.

• 데이터베이스
  • 구동 애플리케이션이나 다른 애플리케이션에서 나중에 다시 데이터를 찾을 수 있게 데이터를 저장
• 캐시
  • 읽기 속도 향상을 위해 값비싼 수행 결과를 기억
• 검색 색인
  • 사용자가 키워드로 데이터르 ㄹ검색하거나 다양한 방법으로 필터링할 수 있게 제공
• 스트림 처리
  • 비동기 처리를 위해 다른 프로세스로 메시지 보내기
• 일괄 처리
  • 주기적으로 대량의 누적된 데이터를 분석

애플리케이션마다 요구사항이 다르기 때문에 데이터베이스 시스템 또한 저마다 다양한 특성을 가지고 있다.
캐싱을 위한 다양한 접근 방식과 검색 색인을 구축하는 여러 가지 방법 등이 있다.
애플리케이션을 만들 때 어떤 도구와 어떤 접근 방식이 수행 중인 작업에 가장 적합한지 생각해야 한다.

이 책은 데이터 시스템의 원칙(principle) 과 실용성(practivality), 그리고 이를 활용한 데이터 중심 애플리케이션을 개발하는 방법을 모두 담고 있다.

데이터 시스템에 대한 생각

일반적으로 데이터베이스, 큐, 캐시 등을 매우 다른 범주에 속하는 도구로 생각한다.
데이터베이스와 메시지 큐는 표면적으로 비슷하더라도 매우 다른 접근 패턴을 갖고 있어 서로 다른 성능 특성이 있기 때문에 구현 방식이 매우 다른다.

그럼 모든 것을 왜 데이터 시스템 이라는 포괄적 용어로 묶어야 할까?

데이터 저장과 처리를 위한 여러 새로운 도구는 최근에 만들어졌다.
새로운 도구들은 다양한 사용 사례에 최적화 되었기 때문에 더 이상 적통적인 분류에 딱 들어맞지 않는다.
메시지 큐로 사용하는 데이터스토어인 redis, 데이터베이스처럼 지속성을 보장하는 메시지 큐인 아파치 카프카가 있다.

점점 더 많은 애플리케이션이 단일 도구로는 더 이상 데이터 처리와 저장 모두를 만족시킬 수 없는 과도하고 광범위한 요구사항을 갖는다.
대신 작업은 단일 도구에서 효율적으로 수행할 수 있는 태스크로 나누고 다양한 도구들은 애플리케이션 코드를 이용해 서로 연결한다.

데이터 시스템이나 서비스를 설계할 때 까다로운 문제가 많이 생긴다.

• 내부적으로 문제가 있어도 데이터를 정확하고 완전하게 유지하려면 어떻게 해야할까?
• 시스템의 일부 성능이 저하되더라도 클라이언트에 일관되게 좋은 성능을 어떻게 제공할 수 있을까?
• 부하 증가를 다루기 위해 어떠헥 규모를 확장할 수 있을까?
• 서비스를 위해 좋은 API 는 어떤 모습일까?

등의 여러 요소들을 고려해야한다.

관련자의 기술 숙련도, 기존 시스템의 의존성, 전달 시간 척도, 다양한 종류의 위험에 대한 조직의 내성, 규제 제약 등은 시스템 설계에 영향을 줄 수 있는 많은 요소다.
이런 요소는 상황에 크게 좌우된다.

• 신뢰성 (Reliability)
  하드웨어나 소프트웨어 결함. 어떠한 문제가 발생하더라도 시스템은 지속적으로 올바르게 동작해야 한다.
• 확장성 (Scalability)
  시스템의 데이터 양, 트래픽 양, 복잡도가 증가하면서 이를 처리할 수 있는 적절한 방법이 있어야 한다.
• 유지보수성 (Maintainability)
  시간이 지남에 따라 여러 다양한 사람들이 시스템 상에서 작업을 할 것이기 때문에 모든 사용자가 생산적으로 작업할 수 있어야 한다.

정리

데이터를 처리하고 저장하기 위한 새로운 도구들은 최근에 만들어졌기 때문에 전통적인 목적에 맞게 사용되지 않고 사용 사례에 맞게 사용되고 있다고 한다. 많지 않은 내 경험 속에서도 확실히 특정 도구만을 데이터 처리와 저장하는데 쓰이지 않고 현재 서비스에 맞게 필요한 도구를 각 상황에 맞게 사용하여 설계하려고 많은 고민을 했었던 것 같다.

따라서, 각 도구들의 각자의 역할에 맞게 사용되는 것이 아니라 사용 사례에 맞게, 단일 도구가 아닌 다양한 구성 요소를 결합하여 데이터 시스템을 구성한다고 말하고 있는 것 같다.

확실히 어떤 환경에 있는지에 따라 어떤 데이터 시스템을 설계하고 운영할 수 있는지에 대해서도 충분히 고려해야할 것 같고
데이터 시스템이나 서비스를 설계하는 과정에서 얼마나 고민을 많이 하는지에 따라서 퀄리티 차이가 많이 나지 않을까 그리고 데이터 엔지니어로써 다양한 환경에 맞게 시스템을 설계하는 능력이 매우 중요하지 않을까 생각이 들었다.