#data-engineering
Read more stories on Hashnode
Articles with this tag
Internal error occurred: failed calling webhook "ipaddresspoolvalidationwebhook.metallb.io" · 문제 온프레미스 클러스터 운영 중 로드밸런싱 기술을 도입하기 위해 metallb를 설치 ip...
쿠버네티스 환경에서 서비스에 외부 트래픽을 효과적으로 라우팅하는 것은 중요한 과제입니다. 이 글에서는 쿠버네티스의 두 가지 주요 서비스 유형인 로드 밸런서(LoadBalancer)와 노드포트(NodePort)에 대해...
좀비 프로세스 문제 해결과 시스템 안정성 향상 · 서론: 웹 스크래핑은 데이터 수집에 필수적인 작업이지만, 성능과 안정성에 관한 문제가 종종 발생합니다. 최근 프로젝트에서도 이러한 문제를 경험했습니다. 특히, Selenium WebDriver를 사용할 때 좀비 프로세스...
효율적인 API 호출과 Bulk Insert · 문제 상황 및 도전 과제 데이터 엔지니어링 분야에서 API를 통한 대량 데이터 수집과 효율적인 데이터베이스 관리는 중요한 과제입니다. 복잡한 데이터 파이프라인에서 성능 병목을 방지하고, 데이터베이스 리소스를 최적화하는 것은...