[2022] DFS를 이용한 이미지 크롤링

1. Introduction

•  fire detection model을 학습시키기 위한 데이터 수집 과정

---

 2. Tools & technology

• crawling
• selenium
• webdriver
• beautifulsoup
• requests

---

3. work flow

5. Implementation

• url의 자료형을 dict으로 하여 방문 여부 조사시 key-value를 이용하여 빠르게 조사
• url을 먼저 저장하여 중간에 코드가 중단되어도 재실행시 빠르게 복구 가능

5. Result

• 약 2300개의 데이터 수집