캐리의 데이터 세상(81)
-
Chart.js로 그래프 만들기
파이썬/pandas/numpy/matplotlib 등으로 데이터 추출, 전처리, 그래프를 Jupyter로 만든걸 flask를 통해서 웹페이지로 구축하는 단기 프로젝트를 진행중에 오늘 처음 접한 Chart.js 훨씬 그래프가 웹에서 시각적으로 보기도 좋고 선명해서 좀더 디테일하게 문법을 파봐야 겠습니다. 간단하게 html로 기본 포맷만 만들어서 script 한번에 적용시킨 코드입니다. js 파일로 그래프마다 따로 빼서 해도 무방하겠으나 오늘 처음 접한 만큼 글자 사이즈, 색깔 고치고 x축, y축,라벨 수정 정도만 적용시켜 보았습니다. 팀플 할때는 Bootstrap으로 페이지 디자인 해놓고 그래프가 들어갈 자리를 만들어 놓은 상태에서 Chart.js 적용했었는데요 연습코드를 올리는 터라 아무런 효과 안준 기..
2020.07.29 -
파이썬 크롤링 연습(3) 랭킹 기사로 워드클라우드 만들기
7월 21일 자 네이버 랭킹 기사 크롤링한 데이터를 가지고 와서 Pandas로 DataFrame을 만들고 자연어 처리 후 워드 클라우드로 간단하게 만들어 보겠습니다. 이번에는 soynlp로만 처리하고 KoNLPy 오픈소스 활용 예시는 다음 포스팅에서 정리해 보겠습니다. 참고로 저는 이제 막 배우기 시작한 초보자인 점을 감안하여 자세한 함수 정의와 예시는 링크의 정식 라이브러리 혹은 API를 참조해 주세요. 그날그날 배운 거 정리하면서 다시 한번 코드 작성해 보는 공간입니다:) ▶ 지난 포스팅 참조 2020/07/21 - [캐리의 데이터 세상/캐리의 데이터 공부 기록] - 파이썬 크롤링 연습(2) - 랭킹 뉴스 끌어오기 지난 크롤링 포스팅에 pandas를 불러오고 output 문구 정리를 좀더 한 후에 하..
2020.07.22 -
파이썬 크롤링 연습(2) - 랭킹 뉴스 끌어오기
BeautifulSoup을 사용해서 네이버 뉴스 페이지의 '많이 본 뉴스' 기사 제목/링크/전문을 끌어와 보겠습니다. 박스 안의 섹션별 1위부터 10위까지의 기사들이 하위 태그 안에 제목, 기사링크 값이 들어 있는 것을 확인할 수 있습니다. 제목 -> 기사링크 -> 기사전문에서 불필요한 태그들은 처리하고 기사 전문을 뽑아 내는 코드는 다음과 같습니다. BeautifulSoup 문서를 참조해서 코드를 쪼개어 설명을 덧붙입니다. from bs4 import BeautifulSoup import requests,time url="https://news.naver.com/main/ranking/popularDay.nhn" r=requests.get(url) soup = BeautifulSoup(r.text,'h..
2020.07.21 -
파이썬 - 주피터 노트북(Jupyter Notebook) 단축키 모음
파이썬 실행을 위해 VSCODE와 함께 사용하고 있는 주피터 노트북(Jupyter Notebook) 단축키를 정리해봅니다. 여러 언어들을 다루다 보니 에디터 종류도 다양해서 단축키가 헷갈릴 때가 많아 개인 실습을 위함이기도 합니다:) 주피터 노트북 단축키 정리 ※ 주피터 노트북은 코드 작성 시 중간 결과를 그때그때 확인할 수 있어서 분석을 진행할 때 유용합니다. 기능 단축키 셀 추가 Esc + a (above) : 현재 위치 위에(above) 셀 추가 Esc + b (below) : 현재 위치 아래(below) 셀 추가 셀 삭제 dd : 현재 셀 삭제 셀 복사 c : 현재 셀 복사 셀 잘라내기 x : 현재 셀 잘라내기 셀 붙여넣기 v : 복사 or 자른 셀 붙여넣기 코드 실행 Shift + Enter :..
2020.07.20 -
파이썬 크롤링 연습 (1) - 스타벅스 매장 목록 불러오기
파이썬으로 내가 사는 지역의 스타벅스 매장 정보 불러오기를 해보겠습니다. 저도 하나씩 배우는 과정이라 설명이 미흡한 점은 의견주세요! 기초가 부족한 터라 실습하면서 전체 코드 읽으면서, 개발자 도구로 코드 확인하며 역으로 문법들을 익혀 나가는 중입니다. 1. 크롤링 타겟 - 전국 스타벅스 매장 중 지역 - '서울'의 '강남구'에 위치한 스타벅스 매장 정보 먼저 스타벅스 홈페이지에서 '매장찾기' - 지역검색 페이지를 살펴봐주세요. 스타벅스 매장찾기 - 지역검색창 바로가기 웹드라이버를 통해 Chrome 브라우저를 직접 작동시켜 지역검색 -> '서울' 선택 -> '강남구' 선택 -> 매장정보 가져오기 까지 이르도록 해보겠습니다. 화면이 이런 순서대로 흘러 가겠죠? 2. 코드 작성 그럼 코드를 작성해 보겠습니다..
2020.07.18 -
디지털 뉴딜 - 데이터댐 사업 정리
데이터 댐이 대체 무엇인가. 어제 대통령 주재로 한국판 뉴딜 국민보고대회(제7차 비상경제회의)에서 발표된 「한국판 뉴딜 종합계획」이후 이틀 동안 쏟아지듯 나오는 기사에서 내 눈길을 사로잡은 단어 '데이터 댐'. 기사로만 봐서는 데이터 댐이 무엇인지 유추하기 힘들어 과학기술정보통신부와 기획재정부 보도자료 원문을 읽어봤습니다. 현재 인공지능(AI) 과정을 공부하면서 데이터 산업에 관심이 많은 1인으로 '데이터'라는 키워드가 어떻게 정부 정책 기조에 반영되고 있는지 궁금했기에 대통령께서 발표한 PPT 자료도 함께 확인했는데요, 관심있는 분들은 하기 링크로 가셔서 원문 읽어보세요. 기사들도 보도자료 일부 발췌본들이라 내용들이 다 똑같습니다. ※ 보도자료 및 뉴딜 종합정책 원문 링크(제목 클릭하면 해당 사이트로 ..
2020.07.15