실습 위한 데이터셋 리스트 유명 공개 데이터 저장소 - UC Irvine 머신러닝 저장소 - Kaggle 데이터셋 - 아마존 AWS 데이터셋 메타 포털(공개 데이터 저장소 나열됨) - 데이터 포털 - 오픈 데이터 모니터 - 퀀들 인기 있는 공개 데이터 저장소가 나열되어 있는 다른 페이지 - 위키백과 머신러닝 데이터셋 목록 - Quora.com - 데이터셋 서브레딧 Reference : Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition 외국 데이터 관련 영상들에서 많이 추천하던 오렐리의 핸즈온 머신러닝 2판 번역서 찬찬히 보는 중이라 참고할 만한 자료 꾸준히 업데이트 해보겠습니다:) 952p 분량의 압박이 있는 2..

앤드류 응 교수의 Deep Learning 특화과정의 5개 중 1단계 complete! 청강 모드로 듣는 다면 certificate가 안 나오고 연습문제들도 풀어보기 애매하니 49 usd/month 구독료를 주고 시작했는데 한 달 안에 완료 못하면 또 돈이 추가되니 쫄리는 마음으로 추석 연휴에 몰아서 오늘 완료. 각 단계별로도 course certificate가 나오지만 5단계 전체를 완료하면 Specialization 써티가 나온다. 청강 모드로 이것저것 건드려 보긴 했지만 돈내고는 처음 시도하는 터라 특화 과정에 대한 구독료 개념 이해가 부족했나 보다. 5개 과정 전체를 천천히 한 달에 하나씩 끝내야지 생각하고 여유 부리고 있었는데 2단계 강좌 구독 또한 별도 비용 지불 단계 없이 이어짐 고로 내가 ..

며칠 동안 삽질 끝에 custom 데이터로 mask rcnn 구동ㅠㅠ 서버컴이 오기 전이라 랩탑 가상 환경에서 돌리느라 최대한 train 데이터 적게 잡고 시도 끝에 log폴더에 내가 라벨링 한 데이터로 학습한 weight가 생성되었다. 오류 하나를 수정하면 또 다른 오류들의 등장으로 며칠 멘붕이었지만 일단 모델이 잘 작동하는걸 확인했으니 이제 작업 데이터 양을 늘려서 라벨링을 내일 하루 동안 또 해야 할 듯. 등장했던 오류들 몇 가지 converting sparse indexedSlices to a dense Tensor of unknown shape could not find a format to read the specified file in %s mde % moename Input image dt..

윈도우 10, Anaconda, 가상환경으로 Mask R CNN 모델 돌려봄. CUDA 오류 때문에 버전을 이리저리 바꿔봐도 오류가 계속 났기에 가상 환경으로 시도! 오늘도 블로그와 유튜브 스승님들의 도움으로 한 발짝씩 나아갑니다ㅠㅠ 특히 아래 블로그에서 Tensorflow와 Keras 버전을 각각 아래와 같이 낮추라고 코멘트 해준 덕분에 한 번에 완료되었다! tensorflow==1.5.0 keras==2.1.6 Mask RCNN 셋업 관련 블로그 링크 Mask RCNN 셋업 유튜브 링크 ※ Mask R-CNN 관련 참고 개요 : github.com/matterport/Mask_RCNN 논문 : arxiv.org/pdf/1703.06870.pdf PR12 논문 읽기의 Mask R-CNN 편(유튜브) :..

이론 수업은 거의 끝나가는데 워낙 방대한 분량을 빠르게 훑는 수준으로 끝내다 보니 기초가 아주 많이 부족하다. 특히 속도가 안 나는 건 이론이 이해되어야만 다음 단계 넘어가서 적용하는 게 오랜 습관으로 배어있는 것 같은데 이건 이렇게 하는 거야 라는 주입에는 잘 안 맞는 것 같아서 서치 신공으로 따로 자료를 계속 보는 중. 진도 나갈수록 아... 결국 수학이 중요하구나를 하루하루 느낀다. 이미 진도는 나갔지만 기억에서 가물가물해 진 것들, 헷갈리는 것들 체크리스트 - Numpy, Vector, 행렬 구조 - JSON - Flask - DB, 쿼리문 - 이미지 벡터화, 전처리 이렇게 알려주는 사람이 있다면 진짜 한 번에 이해됐을 것 같은 손뼉 치며 봤던 유튜브 영상 링크로. 신경망을 설명하기 전에 Neur..

마지막 팀 프로젝트를 준비하면서 주제가 자주 엎어지고 있긴 하지만 일단 개인 관심사로 찾아본 것들 기록. 확실히 머신러닝-딥러닝 과정의 특정 알고리즘 바탕의 프로젝트 사례들을 찾아보면 한국 자료는 수적으로 일단 부족하다. 물론 지금은 어떻게 돌아가는지 알아가는 과정이라 한국어 자료가 소중하긴 하지만 영문 자료 찾아 볼수록 내가 직접 분석하고 구현해 보고 싶은 주제들 아이디어들이 계속 떠오른다. Fake news detection 가짜 뉴스 탐지 나름 언론학도로서 그리고 한때 기자 지망생으로 가장 먼저 해보고 싶었던 것이 가짜 뉴스 걸러내기. 논문들 찾아보다가 딱 링크의 연구 같은 모델을 해보면 좋겠다 생각했는데 변수가 너무 많고 현재 캐파로는 힘들지 않을까 해서 NLP 전반적인 모델링 처리과정을 다 볼 ..