10/23 공부 기록 - 하이퍼파라미터

파라미터 튜닝과 에러를 하루종일 상대하며...

디폴트 값들을 이것저것 건드려 보다가 튀어나오는 새로운 에러들 상대하다 다시 백투 코세라 강의로.

역시 이론은 중요하다. 잠시 멈춰있던 코세라 딥러닝 강의를 다시 몰아 들음.

지금 진행중인 딥러닝 2과목이 온통 하이퍼파라미터에 관한 강의들이라 듣고 다시 코드에 적용해보고 돌려놓고 다시 공부.

Panda approach와 Caviar approach 로 재밌게 표현하던데

리소스가 부족한 현 상태니 베이비시터와 같은 판다 방식으로 매뉴얼로 이것저것 고쳐보다가 크게 결과값이 변화하지 않으니 건드려볼 엄두가 안났던 config 각종 값들을 바꿔보는 중.

Configurations:
BACKBONE                       resnet101
BACKBONE_STRIDES               [4, 8, 16, 32, 64]
BATCH_SIZE                     1
BBOX_STD_DEV                   [0.1 0.1 0.2 0.2]
COMPUTE_BACKBONE_SHAPE         None
DETECTION_MAX_INSTANCES        100
DETECTION_MIN_CONFIDENCE       0.7
DETECTION_NMS_THRESHOLD        0.3
FPN_CLASSIF_FC_LAYERS_SIZE     1024
GPU_COUNT                      1
GRADIENT_CLIP_NORM             5.0
IMAGES_PER_GPU                 1
IMAGE_CHANNEL_COUNT            3
IMAGE_MAX_DIM                  1024
IMAGE_META_SIZE                93
IMAGE_MIN_DIM                  800
IMAGE_MIN_SCALE                0
IMAGE_RESIZE_MODE              square
IMAGE_SHAPE                    [1024 1024    3]
LEARNING_MOMENTUM              0.9
LEARNING_RATE                  0.001
LOSS_WEIGHTS                   {'rpn_class_loss': 1.0, 'rpn_bbox_loss': 1.0, 'mrcnn_class_loss': 1.0, 'mrcnn_bbox_loss': 1.0, 'mrcnn_mask_loss': 1.0}
MASK_POOL_SIZE                 14
MASK_SHAPE                     [28, 28]
MAX_GT_INSTANCES               100
MEAN_PIXEL                     [123.7 116.8 103.9]
MINI_MASK_SHAPE                (56, 56)
NAME                           coco
NUM_CLASSES                    10
POOL_SIZE                      7
POST_NMS_ROIS_INFERENCE        1000
POST_NMS_ROIS_TRAINING         2000
PRE_NMS_LIMIT                  6000
ROI_POSITIVE_RATIO             0.33
RPN_ANCHOR_RATIOS              [0.5, 1, 2]
RPN_ANCHOR_SCALES              (32, 64, 128, 256, 512)
RPN_ANCHOR_STRIDE              1
RPN_BBOX_STD_DEV               [0.1 0.1 0.2 0.2]
RPN_NMS_THRESHOLD              0.7
RPN_TRAIN_ANCHORS_PER_IMAGE    256
STEPS_PER_EPOCH                1000
TOP_DOWN_PYRAMID_SIZE          256
TRAIN_BN                       False
TRAIN_ROIS_PER_IMAGE           200
USE_MINI_MASK                  True
USE_RPN_ROIS                   True
VALIDATION_STEPS               50
WEIGHT_DECAY                   0.0001

기껏 해봐야 학습률과 에포크 정도만 조정했다가 오늘 바꿔본 것들은

- Optimizer : SGD -> Adam

- Weight_Decay : 0.0001 -> 0.0005

- Backbone : 'resnet101' -> 'resnet50'

- Learning rate : 0.001-> 0.000001

- Gradient_clip_norm

오류 등장할 때 마다 구글신의 도움을 받아 사람들의 해결책들을 체크...but 아담으로 옵티마이저를 바꾼 Mask R-CNN 모델은...잘 적용이 안되나보다. 다시 SGD로 백.

코세라 - 딥러닝강의

주말 동안 앤드류 교수의 파라미터 강의 다 듣고 실습까지 완료해서 2번째 써티까지 따면서 튜닝 감을 좀더 익혀봐야겠음.