한국외대 멋쟁이사자처럼에서 개최하는 여름방학 모각코 스터디가 오늘 시작되었다. 스터디는 게더타운에서 이루어졌다. 오늘 한 일 : - 노션 페이지 만들기 - 공부 일정 정하기 - 요약 및 복원 기출 정리하기 https://www.notion.so/woorively/a25b2575d7b44ea8bc35c117a2cad0fd?v=801e10b51c1f4e1fb8bb967876916f36 모각코 우리의 사진 www.notion.so 모각코 진행방향 과제: 아래 day 일정 교재로 공부해오기 스터디 중: 같이 문제 풀기, 각자 블로그 정리 (오답문제, 개념 등) 각자 5문제씩 기출 조사 모각코 일정 7/20 수 계획 및 방향 설정 7/23 토 day 4 ~ 6 7/27 수 day 7 ~ 11 7/30 토 day ..

flixpatrol 사이트를 이용해 2021년 11월 29일 기준¶전세계 넷플릭스 드라마를¶역대 인기순으로 200위 까지 추출 하였다¶그 후 pandas 데이터로 정렬후 데이터를 분석해 보았다¶ In [1]: import pandas as pd from bs4 import BeautifulSoup import requests In [2]: #requests.get()으로 url정보 요청하기 headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"} for i in range(1,6): #200위 까..

데이터 프레임 만들기¶ In [39]: import pandas as pd from bs4 import BeautifulSoup import requests import time In [40]: #첫번째 방식 df1 = pd.DataFrame({'이름':['손흥민','메시','호날두'], '나이':[28,33,35], '소속':['토트넘','바르셀로나','유벤투스']}, index = [1,2,3]) # 딕셔너리의 key = column df1 Out[40]: 이름 나이 소속 1 손흥민 28 토트넘 2 메시 33 바르셀로나 3 호날두 35 유벤투스 In [41]: #두번째 방식..

Transfer markt 크롤링¶ 첫페이지와 두번째 페이지 50명 정보 In [1]: #필요한 라이브러리 불러오기 import requests from bs4 import BeautifulSoup import pandas as pd import time In [2]: #requests.get()으로 url정보 요청하기 headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"} url = "https://www.transfermarkt.com/spieler-statistik/wertvollstesp..

Crawling 기초 실습¶Requests 실습¶ In [5]: #requests 불러오기 import requests In [6]: #headers에 'User-Agent' 값 넣기 headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"} #url에 주소 넣기 url = "https://www.transfermarkt.com/" #requests.get()으로 요청하기 r = requests.get(url, headers=headers) r.status_code #200이 나오면 ..

웹 스크래핑 : 웹에 있는 데이터를 수집하는 기술 웹 크롤링과 거의 같은 뜻으로 사용 로봇 배제 표준 : robots.txt 웹의 동작 방식 : 프론트엔트 – Html, Css, java script 프론트엔드 : 클라이언트 ->