NakedFlower 님의 블로그

비록 학교에서 하는 작은 해커톤 대회였지만, 처음 나가 본 해커톤이었던만큼 기록으로 남기고자 한다.학과 공지방에 올라온 홍보글을 보고 지원하게 되었다.11일이 IELTS 시험이라 시험 준비에 살짝 부담이 느껴지긴 했는데, 그래도 이런 기회를 놓치고 싶지 않았다. 팀이 4명이길래 기획 1명, 디자인 1명, 개발 2명 이렇게 배정인 줄 알고 기다렸다. 근데 막상 팀원 왔길래 물어보니까 기획 2명, 디자인 1명, 개발 1명인...ㅠㅠ심지어 디자인 인원은 잠수를 타버려서 인원 재배분을 통해 기획 3명에 나 혼자 독박 개발을 하게 됐다... 발표된 주제는 "AI를 활용한 레거시 산업의 자동화"였다.지금 들어도 무서워,,, 심사 기준 사진 찍어놓고 최대한 맞춰보려고 노력했다.그리고 결과는..! 처음 참가해본 해..

어느덧 7월 중순부터 11월까지 이어진 구름(goorm) 클라우드 네이티브 엔지니어링 과정의 긴 이론 기간이 끝났습니다.휴학을 결정하고 평소 정말 공부하고 싶었던 분야를 전문적으로 배운다는 기대감, 그리고 혹시나 휴학한 다른 사람들처럼 나태해지지는 않을까 하는 걱정이 공존했던 시작이었습니다.하지만 돌아보면 걱정이 무색할 만큼 꽤 바쁜 시간을 보낸 것 같습니다. 평일 9시부터 6시까지 이어지는 스케줄을 따라야 했고, 그 뒤엔 헬스, 그 다음엔 팀 프로젝트와 사이드 프로젝트를 계속 진행해야 했습니다. 중간중간 공모전도 2개나 준비하다 보니 시간이 쏜살같이 흘러갔습니다. (물론 수상은 못했지만요...ㅠㅠ다음에 하면 되지 뭐.)아쉬움, 그리고 그보다 더 큰 수확솔직히 아쉬운 점을 꼽자면 공모전 수상에 실패한 것..

기능프로젝트 이름개요분산 코디네이터주키퍼 (Zookeeper)서비스 분산과 서버 간 상황을 관리하며 분산 서버의 통합환경 관리데이터 수집Flume분산된 서버에서 생성된 로그 타입의 비정형 데이터를 수집 Kafka실시간 분산환경에서 메시지를 송수신하는 메시지 전달 솔루션 ScoopHDFS, RDBMS, NoSQL 에서 정형화된 데이터를 수집분산 데이터 저장Hadoop DistributeFile System (HDFS)하둡 클러스터 환경에 분산 저장하는 솔루션으로 Namenode 와 Datanode 로 관리분산 클러스터 관리YARN분산 클러스터의 리소스 관리 솔루션으로 Resource Manager 가 Node Manager 를 관리하는 구조분산 데이터 배치처리Hadoop MapReduceMap 과 Redu..

빅데이터란?정의빅데이터란 기존의 데이터 처리 및 분석 도구로는 수집·저장·관리·처리하기 어려울 정도로 규모가 크거나 복잡한, 다양한 형태의 데이터 집합을 의미한다.정형 데이터뿐만 아니라 반정형(XML, JSON 등) 또는 비정형(텍스트, 이미지, 영상) 데이터를 모두 포함하며, 이들이 대량으로 지속해서 생성되는 환경을 의미한다.특징 (5V)Volume (양): 생성·저장되는 데이터의 양이 방대함 (테라바이트, 페타바이트 이상).Velocity (속도): 데이터 생성 및 처리 요구 속도가 매우 빠르며 실시간 또는 근실시간 분석이 필요함.Variety (다양성): 여러 원천·형식(정형·반정형·비정형)의 데이터가 혼재됨.Veracity (진실성/신뢰성): 데이터의 정확성, 신뢰성, 품질이 중요해짐.Value ..

카프카는 아파치 소프트웨어 재단에서 개발한 오픈소스 데이터 스트리밍 플랫폼 대량의 데이터 스트림을 실시간으로 처리하고 저장하기 위해 설계되었으며, 높은 처리량과 낮은 지연 시간을 제공하는 것이 핵심 대규모 데이터 파이프라인, 실시간 분석, 로그 수집, 모니터링 시스템 등 다양한 분야에서 활용 카프카의 핵심 구조프로듀서 : 이벤트를 생성하여 카프카로 전송하는 주체카프카 클러스터 : 데이터를 받아 저장하고 관리하는 분산 데이터 저장소컨슈머 : 카프카 클러스터에서 데이터를 가져와 처리하는 주체데이터 흐름은 Producer → Kafka Cluster → Consumer 형태로 이루어진다. 핵심 개념: 토픽과 파티션Topic이벤트를 주제별로 분류하는 단위프로듀서와 컨슈머는 토픽 단위로 데이터를 송수신Partit..

이번 포스트에서는 ReplicaSet, Deployment, DaemonSet, CronJob에 대해 다루겠습니다. 쿠버네티스 컨트롤러의 주요 기능쿠버네티스에서 컨트롤러는 클러스터의 상태를 관리하고 운영을 자동화하는 핵심 구성 요소입니다. 컨트롤러는 정의된 '원하는 상태(Desired State)'와 '현재 상태(Current State)'를 지속적으로 비교하며, 차이가 발생할 경우 이를 일치시키는 조정을 수행합니다.주요 기능은 다음과 같습니다.1. 오토 힐링 (Auto-Healing)기능: 파드(Pod) 또는 파드가 스케줄링된 노드에 장애가 발생하여 다운될 경우, 컨트롤러가 이를 즉각 인지합니다.동작: 장애가 발생한 파드를 대체하기 위해 사용 가능한 다른 노드에 새로운 파드를 자동으로 생성하여 서비스 ..

4. 컨피그맵 (ConfigMap) & 시크릿 (Secret)분리해야 되는 일반적인 상수들을 모아서 ConfigMap을 만들고, 보안성 관리가 필요한 값을 모아서 Secret을 만든다. 파드 생성 시에 두 오브젝트를 연결하여 컨테이너의 환경 변수에 데이터를 저장함.즉, 상용 환경에서는 ConfigMap과 Secret 내부 데이터만 바꿔주면똑같은 컨테이너 이미지를 사용해서 원하는 기능을사용할 수 있게 되는 것이다. 데이터로 상수와 파일 모두 저장 가능! (단, 파일을 넣을 때는 볼륨을 마운트해서 사용)Secret은 값을 넣을 때 Base64로 인코딩해서 입력하고 실제로 환경변수로 주입될 때는 디코딩된 평문이 저장됨 Env 방식과 Volume Mount 방식의 차이 환경 변수는 컨테이너가 시작될..

Pod, Service, Volume, Configmap, Secret, Namespace, ResourceQuota, LimitRange에 대해 다루겠습니다.1. 파드 (Pod)정의: 쿠버네티스에서 생성하고 관리할 수 있는 가장 작은 배포 단위1. 파드 (Pod)의 특징파드는 쿠버네티스에서 가장 기본이 되는 배포 단위이며, 하나 이상의 컨테이너를 포함합니다.네트워킹: 파드 내의 컨테이너들은 동일한 네트워크 공간을 공유합니다. (하나의 호스트로 묶인 것과 유사)이 때문에 파드 내 컨테이너끼리는 localhost:8080를 통해 서로 접근할 수 있습니다.포트: 컨테이너는 서비스 연결을 위한 포트를 가집니다.한 컨테이너가 여러 포트를 가질 수는 있지만, 한 파드 내에서 컨테이너 간 포트 번호는 중복될 수 없..