개발자의 스터디 노트

설치하려는 곳에 docker와 docker compose가 설치되어 있어야 합니다. docker 및 docker compose 는 설치되어 있다는 가정 하에 설치를 진행하겠습니다. 1. 설치 하려는 경로에 디렉토리를 생성합니다. mkdir airflow cd airflow mkdir install cd install ./airflow/install 아래에 설치 파일을 두고 설치를 진행하겠습니다. 2. docker-compose.yaml 파일을 다운 받습니다. curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-compose.yaml' 3. docker compose 명령어를 통해 설치를 진행합니다. docker compose up..

도커 명령어 모음집 docker version - 도커 버전 확인 *********************** 컨테이너를 생성하고 실행하는 명령어 *********************** docker pull(docker image pull) - docker 이미지를 다운로드 docker create(docker container create) - docker 이미지 생성 docker start(docker container start) - docker 컨테이너 실행 docker run(docker container run) - pull create start 를 합친것과 같은 명령어 - 이미지가 없다면 우선 이미지를 내려받는다. docker run 이미지 - 주요 옵션 --name 컨테이너 이름 : 컨..

git init : 현재 위치에 깃 폴더를 초기화 git config --global user.email "ws0601@naver.com" : git hub 계정 메일 주소를 설정 정보에 담기 git config --global user.name "pws0601" : git hub 계정 이름 설정 정보에 담기 git add README.txt : 커밋에 추가할 파일을 선택 git commit -m "사이트 설명 추가" : 커밋에 상세 설명 추가(큰따옴표 이용) git add README.txt git commit -m "사이트 설명 업데이트" git log : 지금까지 커밋 된 로그 확인 git checkout 커밋ID : 해당 커밋ID로 체크아웃 git checkout - : 최근 커밋으로 체크아웃 g..

EKS 클러스터를 구축하는 방법은 다음과 같습니다. - EKS 클러스터 구축 도구 eksctl을 이용하는 방법 - AWS 관리 콘솔(또는 AWS CLI)을 이용하는 방법 eksctl 이란? EKS 클러스터 구축 및 관리를 하기 위한 오픈소스 명령줄 도구입니다. 기본 구성이라면 'eksctl create cluster'란 명령어만으로 EKS 클러스터를 구축할 수 있습니다. eksctl을 사용하면 VPC, 서브넷, 보안 그룹 등 EKS 클러스터를 구축하는 데 필요한 리소스를 한 번에 구성할 수 있습니다. VPC 등의 기본 리소스는 EKS 클러스터와 별도로 구축하는 것이 구성을 유연하게 할 수 있습니다. VPC 관련 용어 AWS에서는 서버 등의 리소스를 VPC라는 논리적으로 분리된 영역을 이용하여 관리합니다...

1. S3 AWS가 제공하는 클라우드 스토리지 서비스입니다. 99.99999999999%(9가 11개)라는 높은 내구성이 특징인 스토리지로 미리 스토리지 용량 등을 정의하지 않고 사용할 수 있으며 데이터 공개 정책, 데이터 암호화, 비용 효율적으로 데이터를 장기 보관하기 위한 라이프사이클 정책 등의 많은 기능을 제공하는 유용한 서비스입니다. S3에서는 스토리지의 기본단위로 버킷(Bucket)이라고 불리는 영역을 생성하고 그 안에 파일을 저장합니다. 2. CloudFront AWS가 제공하는 콘텐츠 전송 네트워크(Content Delivery Network. CDN) 서비스입니다. CDN은 인터넷에서 웹 콘텐츠, 이미지, 동영상, 애플리케이션 등을 빠르게 전송하기 위한 구조로 되어 있습니다. CloudFr..

Amazon EKS(Elastic Kubernetres Service)는 쿠버네티스를 제어하는 컨트롤 플레인을 제공하는 관리형 서비스입니다. 1. EKS는 머가 좋을까요? 쿠버네티스 도입을 검토할 때 가증 큰 장벽은 '컨트롤 플레인의 유지 및 운영'입니다. 쿠버네티스에서 여러 컴포넌트들이 서로 독립적이고 비동기로 동작하며 전체를 구성합니다. 그래서 각각의 구성요소를 정상적으로 동작시키기 위한 설정이나 유지, 운영 장애가 발생했을 때의 복구방법 등은 결코 간단하다고 말할 수 없습니다. EKS의 경우 이런 유지, 운영을 AWS에서 대신해줍니다. 2. EKS의 특징 - EKS는 쿠버네티스와 완전한 호환성을 갖고 있습니다. 다시 말해 이미 구축된 쿠버네티스 클러스터에서 동작하는 애플리케이션을 수정하지 않고 동작..

1. 컨테이너란? - 일반적인 가상 머신은 호스트 OS에 하이퍼바이저(Hypervisor)를 설치하고 그 위에 게스트 OS를 동작시키는 형태입니다. 하지만 컨테이너 기술은 호스트 OS에 컨테이너 런타임을 올리고 그 위에 프로세스로서 컨테이너를 동작시킵니다. 컨테이너란 호스트 OS의 커널을 공유하면서 분리된 프로세스로서 실행해 마치 가상 머신이 움직이고 있는 것처럼 보이게 하는 기술입니다. 2. 도커란? - 도커(Docker)는 컨테이너를 동작시키기 위한 엔진 중 하나입니다. 2013년에 닷클라우드(dotCloud)에 의해 발표, 공개되었습니다. - 도커의 특징 첫번째. 컨테이너 관리 방식입니다. 도커에서는 Dockerfile이라는 정의 파일을 작성하여 동일한 컨테이너 이미지를 간단히 만들 수 있습니다. ..

루씬은 자바로 개발된 고성능 정보검색 오픈소스 라이브러리 입니다. 1999년 하둡개발자로 잘 알려진 더그 커팅이 개발했고 2005년 아파치 톱 레벨 프로젝트로 승격됐습니다. 가장 유명한 무료 자바 IR 라이브러리 입니다. IR이란? - Information Retrieval의 약자로, 사용자가 필요로 하는 정보를 수집하고 내용을 분석한 후 찾기 쉬운 구조로 만든 뒤 사용자 질의에 미리 만들어진 데이터에서 특정 정보를 찾아 제공하는 시스템 입니다. IR은 관리하는 모든 정보를 효율적으로 검색하도록 데이터 구조, 즉 색인을 만들고 관리합니다. 색인은 최단 시간에 필요한 정보의 위치를 찾도록 돕습니다. 루씬의 장점 - 오픈소스 - 적은 시스템 메모리 사용으로 대량의 데이터를 효율적으로 처리 - 맞춤형 순위모델..