9/25 공부 기록

며칠 동안 삽질 끝에 custom 데이터로 mask rcnn 구동ㅠㅠ

서버컴이 오기 전이라 랩탑 가상 환경에서 돌리느라 최대한 train 데이터 적게 잡고 시도 끝에 log폴더에 내가 라벨링 한 데이터로 학습한 weight가 생성되었다. 

 

오류 하나를 수정하면 또 다른 오류들의 등장으로 며칠 멘붕이었지만 일단 모델이 잘 작동하는걸 확인했으니 이제 작업 데이터 양을 늘려서 라벨링을 내일 하루 동안 또 해야 할 듯.

등장했던 오류들 몇 가지

• converting sparse indexedSlices to a dense Tensor of unknown shape
• could not find a format to read the specified file in %s mde % moename
• Input image dtype is bool. Interpolation is not defined with bool data type
• Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2
• KeyError: 'regions'

여러 삽질들 (구글에 에러문 검색으로 각종 깃헙 및 stack overflow에 비슷한 케이스들 보면서 제시한 해결책들 따라해보기)

- Anaconda3 다시 깔기

- 어노테이션 툴인 VIA 버전을 2.x에서 1.6으로 낮춰서 라벨링 다시해보기

- train/validation 이미지 파일 중 파일명 오류가 있는지

- JSON 파일 형식 확인

- epoch와 learning rate 조절

- tensorflow / keras 버전 조정

- pip install -U scikit-image==0.16.2 (오류 중 input image dtype 은 이걸로 해결) 

 

몇 시간 동안 regions 키 에러 문제로 시간 보냈는데 문제의 원인이 바로 VIA에서 json 파일로 추출할 때 Save 버튼만 눌렀을 때와 export json 버튼을 눌렀을 때의 json 양식이 다른 것이었음ㅠㅠ

VIA 이미지 라벨링하기

coco를 활용한다면 balloon dataset을 다운받아서 train/val 폴더 안의 json파일 전체 양식을 한번 비교해봐도 좋을 듯.

Mask R-CNN 데모 파일 관련해서는 블로그 포스팅들이 꽤 보였는데 custom 데이터로 직접 돌려보는 과정에 대해서는 참고 포스팅을 찾기가 어려운 와중에 발견한 은혜로운 아래 포스팅 덕분에  어떻게 기존 모델을 살짝 변형시켜 내 데이터로 실습해 볼 수 있는지 감을 찾게 되었다!!

-> Object Detection (Mask R-CNN) 관련 참고 포스팅 링크

데이터 전처리에 시간이 70-80프로 든다는 말이 무슨 말인지 하루하루 느끼는 중.