#techblog
Read more stories on Hashnode
Articles with this tag
좀비 프로세스 문제 해결과 시스템 안정성 향상 · 서론: 웹 스크래핑은 데이터 수집에 필수적인 작업이지만, 성능과 안정성에 관한 문제가 종종 발생합니다. 최근 프로젝트에서도 이러한 문제를 경험했습니다. 특히, Selenium WebDriver를 사용할 때 좀비 프로세스...
셀레니움 그리드와 도커 보안 옵션 · 서론 웹 스크래핑은 데이터 수집의 필수적인 방법 중 하나로 자리잡았습니다. 대용량 데이터를 효율적으로 수집하기 위해, 멀티스레딩과 셀레니움 그리드를 결합한 스크래핑 기법을 소개합니다. 이 글에서는 도커를 이용해 셀레니움 그리드를 설정하는...
python asyncio를 활용한 db writer queue · 서론 데이터베이스 락 현상은 동시에 많은 데이터베이스 요청이 발생할 때 종종 발생하는 문제로, 이로 인해 시스템의 성능이 저하되고, 최악의 경우 시스템이 완전히 멈출 수도 있습니다. 이 글에서는 이러한...
효율적인 API 호출과 Bulk Insert · 문제 상황 및 도전 과제 데이터 엔지니어링 분야에서 API를 통한 대량 데이터 수집과 효율적인 데이터베이스 관리는 중요한 과제입니다. 복잡한 데이터 파이프라인에서 성능 병목을 방지하고, 데이터베이스 리소스를 최적화하는 것은...
