728x90
반응형

rsync

  • remote sync의 약자
  • unix 및 linux 시스템에서 파일을 효율적으로 전송 및 동기화 하기 위한 유틸리티
  • 로컬/원격지 모두 동기화 가능
  • 변경된 사항만 빠르게 동기화가 가능
  • scp보다 빠르고 효율적

옵션 정리

-v: verbosity를 높이는 방법으로, 과정을 더 상세히 출력
-z: compress를 주는 옵션으로, 파일을 압축해서 복사. 용량이 큰 파일에 대해 사용
-h: 인간이 읽을 수 있는 형태로 복사 결과 출력
-a: Archive 모드로, symlink, 권한등의 속성을 그대로 복사. 항상 넣어 주는게 좋음
-l: symlink 형태로 복사
-p: 파일과 디렉토리들의 권한을 유지
-g: 그룹 속성을 유지
-o: 소유자 속성을 유지
-r: 디렉토리를 복사할 때 사용하는 옵션. -a 옵션을 사용할 경우 -a 안에 포함되어 있으므로 사용하지 않아도 됨

로컬에서 로컬로 파일 복사하기

  • 모든 속성 유지, 전송 과정 로그 상세화, 복사 결과 출력
    • 파일 용량이 적은 파일일 경우 -z 옵션 생략
rsync -avh <file_path> <target_path>
  • 특정 파일 제외
rsync -avh --exclude <제외할_파일_path> <file_path> <target_path>

# txt 확장자 파일만 제외할 때
rsync -avh --exclude '*.txt' <file_path> <target_path>

# 복수개의 확장자에 대해 제외할 때
rsync -avh --exclude={'*.txt', '*.iso'} <file_path> <target_path>

서버에 파일 보내기

  • scp 이용
scp -rp <file_path> <server_user>@<server_host>:<target_directory>
  • rsync 이용
    • 전송하는 파일 크기가 너무 클 때 대신해서 사용
rsync --avz <file_path> <server_user>@<server_host>:<target_directory>
728x90
반응형

'데브옵스 devOps > Server' 카테고리의 다른 글

[배포전략] 무중단 배포란?  (1) 2024.10.05
728x90
반응형

이미지

기본 설정 및 포트

  • 기본 포트는 7474와 7687
    • http 포트: 7474
    • bolt 포트: 7687
  • 컨테이너 기본 데이터 저장 위치 경로: /data
  • 컨테이너 기본 로그 저장 위치 경로: /logs
  • 컨테이너 설정 저장 위치 경로: /conf
  • 컨테이너 기본 플러그인 위치 경로: /plugins
  • 기본 유저 정보는
    • 관리자 계정은 반드시 유저 이름이 neo4j이어야 하며, password는 8글자 이상이어야 한다.
      • user: neo4j
      • passwd: 1231231212
    • 환경변수로 넣는 방법
      • NEO4J_AUTH=username/password
    • 인증 파일을 넣어주는 방법
      • NEO4J_AUTH_FILE=/run/secrets/neo4j_auth_file
    • 인증을 개발용 목적으로 끄고 싶다면
      • env에서 NEO4J_AUTH=none으로 설정

예시

  • docker-compose 파일
services:
  neo4j:
    image: neo4j:5.25.1-community-bullseye
    container_name: graphdb
    restart: always
    ports:
      - 7687:7687
      - 7474:7474
    volumes:
      - ./data:/data
      - ./logs:/logs
      - ./plugins:/plugins
    env_file:
      - .env
    networks:
      - proxy
networks:
  proxy:
    external: true
  • .env 파일
NEO4J_AUTH=username/password
728x90
반응형
728x90
반응형

Graph DB 핸들링

  • MATCH 로 조회한 데이터는 전부 Map으로 매핑된 데이터들
    • 따라서 쿼리한 데이터를 가져올 때 GET 메서드로 데이터를 가져와야 함
    • 아래는 처음에 짰던 코드
      • 코드가 길고 가독성도 별로라서 다른 방안 고민 중 - 아래에 수정 내용 추가
result, queryErr := dbCon.Query(GetWordAndRelatedWord, map[string]interface{}{"word": word})

if queryErr != nil {
    log.Printf("[SEARCH] Query Word Error: %v", queryErr)
    return []SearchWordResult{}, queryErr
}

var queryResult []SearchWordResult

for _, data := range result {

    name, isName := data.Get("name")

    if !isName {
        log.Printf("[SEARCH] No Name Found. Ignore. Word: %s", word)
        continue
    }

    description, isDescription := data.Get("description")

    if !isDescription {
        log.Printf("[SEARCH] No Description Found. Ignore. Word: %s", word)
        continue
    }

    createdAt, isCreatedAt := data.Get("created_at")

    if !isCreatedAt {
        log.Printf("[SEARCH] No CreatedAt Found. Ignore. Word: %s", word)
        continue
    }

    updatedAt, isUpdatedAt := data.Get("updated_at")  

    if !isUpdatedAt {
        log.Printf("[SEARCH] No UpdatedAt Found. Ignore. Word: %s", word)
        continue
    }

    category, isCategory := data.Get("category")  

    if !isCategory {

        log.Printf("[SEARCH] No Category Found. Ignore. Word: %s", word)

        continue

    }

    createdBy, isCreatedBy := data.Get("created_by")

    if !isCreatedBy {
        log.Printf("[SEARCH] No CreatedBy Found. Ignore. Word: %s", word)
        continue
    }

    var node = SearchWordResult{
        Name: name.(string),
        Category: category.(string),
        Description: description.(string),
        CreatedBy: createdBy.(string),
        CreatedAt: createdAt.(string),
        UpdatedAt: updatedAt.(string),
    }
    queryResult = append(queryResult, node)

}

데이터 핸들링 수정

  • 처음에는 위처럼 데이터를 핸들링 했지만, 읽는 노드 개수가 여러개가 됨에 따라 그 데이터 형태가 달라졌다.
    • 따라서 쿼리 방식을 바꿔야 했고, 데이터 형태 파악부터 해야 했다.
      • 데이터는 배열 안에 각각 노드 Label에 따라 노드들이 배열에 담겨있었다.
      • 따라서 쿼리 결과를 iteration 하며, 각각 label과 함께 나온 데이터를 핸들링하게 끔 수정했다.
    • 쿼리 결과를 GET해서 가져왔을 때, 그 타입이 any 였다.
      • 때문에 이를 dbtype.Node로 캐스팅하고, Node의 Properties를 뽑아와 사용했다.
        • dbType은 neo4j에서 제공하는 노드 타입
        • properties는 map[string]any 타입

responseMap := make(map[string]*SearchWordResult)

for _, data := range result {
    wNode, isNode := data.Get("word")

    if !isNode {
        log.Printf("[SEARCH] No Node Found")
        continue
    }

    targetNode := wNode.(dbtype.Node)

    rNode, isRelated := data.Get("related")

    if !isRelated {
        log.Printf("[SEARCH] No Related Node Found")
        continue    
    }

    relatedNodeList := rNode.(dbtype.Node)

    wordeNode := SearchWordItem{
        Name: targetNode.GetProperties()["name"].(string),
        Category: targetNode.GetProperties()["category"].(string),
        Description: targetNode.GetProperties()["description"].(string),
        CreatedBy: targetNode.GetProperties()["created_by"].(string),
        CreatedAt: targetNode.GetProperties()["created_at"].(string),
        UpdatedAt: targetNode.GetProperties()["updated_at"].(string),
    }

    relatedNode := SearchWordItem{
        Name: relatedNodeList.GetProperties()["name"].(string),
        Category: relatedNodeList.GetProperties()["category"].(string),
        Description: relatedNodeList.GetProperties()["description"].(string),
        CreatedBy: relatedNodeList.GetProperties()["created_by"].(string),
        CreatedAt: relatedNodeList.GetProperties()["created_at"].(string),
        UpdatedAt: relatedNodeList.GetProperties()["updated_at"].(string),
    }

    if _, exists := responseMap[wordeNode.Name]; !exists {
        responseMap[wordeNode.Name] = &SearchWordResult{
            Word: wordeNode,
            Related: []SearchWordItem{},
        }
    }

    responseMap[wordeNode.Name].Related = append(responseMap[wordeNode.Name].Related, relatedNode)

}

var responseList []SearchWordResult

for _, response := range responseMap {
    responseList = append(responseList, *response)
}

노드 및 관계 읽기

  • 아래 쿼리 방식은 관계를 통한 조회이다.
    • relations가 RELATED 혹은 PARENT 인 노드 관계들을 조회하고
    • 1..2 는 hop에 관한 내용이다
      • 1 은 직접적으로 연관된 노드들
      • 2는 중간에 노드가 하나 있는 노드들
    • 조회에 성공한 노드들 정보를 리턴한다
      • SQL과 동일하게 DISTINCT 해서 리턴
      • word의 경우 name 프로퍼티에 대한 조건 쿼리랑 동일하기 때문에 하나 혹은 동일한 이름을 가진 노드들 리턴
      • related의 경우, 특정 이름을 가진 노드와 1홉 혹은 2홉의 관계를 가진 모든 노드들
MATCH (w:Word {name: $word})-[:RELATED|PARENT*1..2]-(related:Word)
RETURN DISTINCT word, related

관계 property 설정

  • 실제 짜서 사용중인 코드이다. 아래처럼 관계를 설정한다.
    • 방향이 설정되지 않은 관계는 RELATED
    • 부모/자식 노드들의 관계를 PARENT / CHILDREN이라는 관계로 정의함
// Create Relations
var CreateWordRelatinon = `
    MATCH (w1:Word{name: $name1}), (w2:Word{name: $name2})
    MERGE (w1)-[r:RELATED]-(w2)
    SET r.weight = $weight
`

// Create Relations; w1 is Parent, w2 is Children
var CreateWordParent = `
    MATCH (w1:Word{name: $name1}), (w2:Word{name: $name2})
    MERGE (w1)-[r:PARENT]->(w2)
    SET r.weight = $weight
`

// Create Relations; w2 is Parent, w1 is Children
var CreateWordChildren = `
    MATCH (w1:Word{name: $name1}), (w2:Word{name: $name2})
    MERGE (w1)-[r:CHILDREN]->(w2)
    SET r.weight = $weight
`
728x90
반응형

'백엔드 Backend > Golang' 카테고리의 다른 글

[Neo4j] Golang 으로 쿼리 핸들링  (0) 2024.12.06
[Neo4j] Golang으로 Neo4j 연동  (0) 2024.12.05
[GO] Ubuntu 서버에 설치  (1) 2024.10.30
[GO] Goroutine이란?  (0) 2024.10.02

+ Recent posts