PROJECT
이미지 labeling
https://pasongsong.tistory.com/37?category=1020799 labelImg 사용하기 https://github.com/tzutalin/labelImg#labelimg GitHub - tzutalin/labelImg: 🖍️ LabelImg is a graphical image annotation tool and label object bounding boxes in images 🖍️ LabelImg is a graphical im.. pasongsong.tistory.com 1. 이미지 중복 처리 파일 이름이 같은 경우 라벨링 결과가 같은 경우 위의 두가지 경우에만 중복 이미지를 삭제함 2. 필요 없는 데이터 제거 데이터 중복을 제거하고 하나하나 확인하여 관련 없는 이미지를..
[2022] DFS를 이용한 이미지 크롤링
1. Introduction fire detection model을 학습시키기 위한 데이터 수집 과정 2. Tools & technology crawling selenium webdriver beautifulsoup requests 3. work flow 5. Implementation url의 자료형을 dict으로 하여 방문 여부 조사시 key-value를 이용하여 빠르게 조사 url을 먼저 저장하여 중간에 코드가 중단되어도 재실행시 빠르게 복구 가능 5. Result 약 2300개의 데이터 수집
[2021] AI 기반 감성 분석을 사용한 제품 평가 및 분석 웹 개발
1. Introduction 온라인 오프라인에서 제품을 구매할 때 많은 사람들은 제품 리뷰를 찾아봅니다. 다양한 웹 사이트에 퍼져있는 리뷰들을 한번에 볼 수 있다면 좋을 것 같다는 아이디어에서 출발한 프로젝트입니다. 본 프로젝트에서는 음식 제품의 정보를 QR 코드 인식을 통해 음식의 최저가격, 최대가격, 열량 정보를 알 수 있고 NLP-Sentiment Analysis를 통해 퍼져있는 리뷰 정보를 알 수 있습니다. Development Environment and Tools HTML CSS JavaScript Node js Python MySQL development technology BERT QR Code Scanner Mobile Web Web Crawling DATABASE API 2. My pa..
API
1. 시작 라우팅 주소 설정 Flask를 이용하여 Python으로 라우팅 설정 API 시작과 동시에 model을 load하여 서비스 이용 2. 라우팅 주소, Data url : http://192.168.0.17:8000/IRLABFile 리뷰 형태 JSON 3. Post로 값을 전달받고 긍부정 값을 반환함 return jsonify({'best': best, 'worst': worst, 'average': round(aver,1) }) 4. return 받는 결과물 { "average":0.5, “best":"5개 패키지인데 최소 3개 이상으로…", "worst":"하리보 4개 와야하는데 2개…” }
Dataset
Dataset 제품 review 별점으로 긍정 부정을 나누었고, 긍정 = 1, 부정 = 0 .csv 저장 긍정 부정 기준, 0 ~ 2 -> 부정 / 4 ~ 5 -> 긍정 긍/부정 리뷰 1 배송도 빠르고 곡간이 든든합니다 1 잘 먹고있는 제품이에요 무난하게 맛있어요 0 첨 먹는데..텁텁하고 토핑도 살짝 허접..걍 느끼하기만... 1 정말 사진하고 똑같아요 간편하고 정말 맛있어요 데이터 출처 데이터의 개수 정확도 NAVER 긍정데이터 : 1,532,112 부정데이터 : 5,908 99% 문제 : imbalanced data 인한 Overfitting 해결 : 부정 리뷰 개수로 Down Sampling NAVER 긍정데이터 : 5,908 부정데이터 : 5,908 89% 문제 : 적은 Dataset 해결 : 1..
