DH Developement

PostgreSQL 로 온톨로지 DB 구축 시 주의점

• 다소 복잡할 수 있음

• 온톨로지 특성상 RDB보다 GraphDB 가 더 적합한 경우가 많음

• 데이터 스키마 설계

  • 개념 테이블: 온톨로지 개념 저장할 수 있는 테이블
  • 속성 테이블: 각 개념에 포함된 속성을 저장하는 테이블
  • 관계 테이블: 개념 간 관계 테이블

• JSON 데이터 타입 활용

  • PostgreSQL JSONB 타입 활용
    • JSONB 칼럼에 개념이나 관계에 대한 속성을 넣어 필요에 따라 필드 수정하지 않아도 됨

• 공통 테이블 표현식(CTE) 및 재귀 쿼리 활용

  • 공통 테이블 표현식(CTE)와 재귀 쿼리 사용하여 계층적 데이터 구조 쿼리
    • 하나의 개념 -> 하위 개념 탐색 쿼리 가능

• 인덱스 최적화

  • JSONB 필드 사용할 경우, GIN 인덱스 활용

• PostGIS

  • 지리적 정보 관리

• SPARQL 및 그래프 DBMS 와 연동

  • PostgreSQL은 SPARQL을 기본적으로 지원하지 않음
  • 외부 SPARQL 엔진과 PostgreSQL 연동
    • PostgreSQL의 데이터를 그래프 데이터베이스에 동기화

장점

• 기존 온톨로지 관리 소프트웨어보다 속도 및 안정성 활용 가능
• JSONB와 같은 유연한 데이터 타입을 통해 다양한 데이터 효율적 저장 가능

단점

• 관계형 DBMS로 그래프처럼 계층적 구조를 구현하고 관리하면 다소 복잡함
• SPARQL과 같은 온톨로지 전용 쿼리 언어를 직접적으로 사용할 수 없음
  • 따라서 그래프 DBMS와 연동하여 SPARQL 사용하는거네

온톨로지 데이터베이스

• 개념과 관계가 체계적으로 정의 및 구조화 된 것
• 주로 특정 도메인에서의 객체나 개체간의 관계를 나타내는 데이터 구조
• 자연어 처리, 검색 엔진, 지식 관리 시스템 등에서 많이 사용됨

온톨로지 구성요소

1. 개념(Entity): 특정 도메인의 주요 항목
   • 차량, 사람, 도로
2. 속성: 각 개념이 가지는 특성
   • 차량 - 제조사, 모델명
3. 관계: 개념들 간 연결 및 상호작용
   • '사람'은 '차량'을 '소유'한다
4. 규칙 및 제약: 개념과 관계에 대한 규칙 정의 -> 데이터의 일관성과 유효성 보장

온톨로지 구조 설계

• 데이터 모델링: 개념(Entity), 속성, 관계, 규칙 구조화
  • RDF (Resource Description Framework), WOL (Web Ontology Language) 같은 표준 포맷 사용
• 계층화: 개념을 계층적으로 구성 -> 데이터 구조 명확히 유지
  • 개념의 상하위 관계 정의
  • 특정 개념 그룹화

데이터베이스 및 자료 관리

• 그래프 데이터베이스: 온톨로지의 관계성 때문에 그래프 DBMS 사용이 효과적
  • 그래프DB: 노드와 엣지 구조를 이용해 개념과 관계를 시각화 및 관리
  • Neo4j, Blazegraph, Amaonze Neptune,...
• 문서형 데이터베이스: 개념과 관계가 매우 복잡하거나 변화가 잦은 경우 MongoDB 같은 문서형 DB
  • JSON-LD 같은 표준 사용해 문서 형태로 관리
• 트리플 스토어: RDF 트리플을 저장하는 DBMS
  • RDF, SPARQL 쿼리 지원하여 데이터 추출 및 분석 용이
  • Apache Jena, Virtuoso,...

온톨로지 편집 및 관리 기능 개발

• CRUD 기능: 개념, 속성, 관계를 생성, 조회, 수정, 삭제 할 수 있는 인터페이스 구현
• 시각화 도구: 개념 및 관계를 그래프로 시각화하여 사용자 경험 향상
  • 노드-엣지 그래프 동적 생성
  • D3.js, Cytoscape.js 같은 시각화 라이브러리 활용
• 버전 관리: 온톨로지 버전 관리 기능으로 변경 사항 추적. 필요시 이전 버전으로 롤백
• SPARQL 쿼리 인터페이스: 사용자나 개발자가 SPARQL 쿼리를 통해 온톨로지 탐색 및 분석
  • SPARQL API 제공하는 것이 유용

계기

개발 진행 중, 체인 데이터가 깨지는 이슈가 발생하였으나 컨테이너의 health 체크 및 재시동에 이슈가 발생하였음
현재는 본인이 3년전에 세팅한 Docker Swarm 으로 컨테이너 오케스트레이션 중이나, 서비스 고도화로 인한 오케스트레이션해야 할 컨테이너가 다양해지고 많아짐
컨테이너 health 상태 체크 및 정상화에 대한 기능이 필요해짐
서비스 운영시의 서버 문제 발생 및 리소스 문제 대처를 위한 Auto Scaling 기능 역시 필요
이외에 무중단 배포 전략 수행을 위한 옵션 역시 필요함
이를 해결하기 위한 방안에 대하여 고민중, 회사에 제안할 내용의 초안을 작성해본다.

현 상태

• Docker Swam을 통한 노드 컨테이너 오케스트레이션이 수행되고 있음
  • 오케스트레이션 대상이 블록체인 노드 8개 밖에 없었기에 kubernetes를 사용할 필요가 없어 보였음
• 그러나 관리 및 오케스트레이션 해야 할 대상이 많고 다양해짐
  • 노드
  • Explorer
  • 어플리케이션들
    • 거래소
    • 지갑
    • 등
  • DB
  • 게이트웨이
  • 모니터링 시스템
    • 자체 제작 Collector 및 대시보드
    • Prometheus
    • Grafana
• Auto-Scaling, 리소스 할당에 대한 필요성 대두
• 무중단 배포 전략 도입의 필요성 확인

제안

• 컨테이너 오케스트레이터(Orchestrator)를 Kubernetes로 변경
  • 더욱 안정적 시스템 운영
  • Auto Scaling

구상

• 노드 구성
  • Master
  • Worker Nodes
    • Explorer
    • Chain Nodes - 7 nodes
    • DataBase
    • Monitoring
    • Trade Application
    • Wallet Application
• Pods 단위
  • Explorer pod
  • Blockchain Nodes pod
  • Database pod
  • Services
    • Trade Application
    • Wallet Application
    • etc...
  • Monitoring pod
    • Prometheus
    • Grafana
    • 자체 제작 Collecter, Dashboard