빅데이터 스터디(25)
-
빅데이터 스터디 마지막 챕터 - 미니프로젝트 - 넷플릭스 드라마 순위 크롤링 후 분석
flixpatrol 사이트를 이용해 2021년 11월 29일 기준¶전세계 넷플릭스 드라마를¶역대 인기순으로 200위 까지 추출 하였다¶그 후 pandas 데이터로 정렬후 데이터를 분석해 보았다¶ In [1]: import pandas as pd from bs4 import BeautifulSoup import requests In [2]: #requests.get()으로 url정보 요청하기 headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"} for i in range(1,6): #200위 까..
2021.11.29 -
웹크롤링과 데이터분석 : 전세계 축구 선수 몸값 분석 - 4 (Pandas로 데이터 분석하기)
데이터 프레임 만들기¶ In [39]: import pandas as pd from bs4 import BeautifulSoup import requests import time In [40]: #첫번째 방식 df1 = pd.DataFrame({'이름':['손흥민','메시','호날두'], '나이':[28,33,35], '소속':['토트넘','바르셀로나','유벤투스']}, index = [1,2,3]) # 딕셔너리의 key = column df1 Out[40]: 이름 나이 소속 1 손흥민 28 토트넘 2 메시 33 바르셀로나 3 호날두 35 유벤투스 In [41]: #두번째 방식..
2021.11.13 -
웹크롤링과 데이터분석 : 전세계 축구 선수 몸값 분석-3 (실전 크롤링)
Transfer markt 크롤링¶ 첫페이지와 두번째 페이지 50명 정보 In [1]: #필요한 라이브러리 불러오기 import requests from bs4 import BeautifulSoup import pandas as pd import time In [2]: #requests.get()으로 url정보 요청하기 headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"} url = "https://www.transfermarkt.com/spieler-statistik/wertvollstesp..
2021.11.08 -
웹크롤링과 데이터분석 : 전세계 축구 선수 몸값 분석-2 (웹 크롤링 연습)
Crawling 기초 실습¶Requests 실습¶ In [5]: #requests 불러오기 import requests In [6]: #headers에 'User-Agent' 값 넣기 headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"} #url에 주소 넣기 url = "https://www.transfermarkt.com/" #requests.get()으로 요청하기 r = requests.get(url, headers=headers) r.status_code #200이 나오면 ..
2021.11.08 -
웹크롤링과 데이터분석 : 전세계 축구 선수 몸값 분석-1 (기초 개념)
웹 스크래핑 : 웹에 있는 데이터를 수집하는 기술 웹 크롤링과 거의 같은 뜻으로 사용 로봇 배제 표준 : robots.txt 웹의 동작 방식 : 프론트엔트 – Html, Css, java script 프론트엔드 : 클라이언트 ->
2021.11.08 -
프로세스 마이닝을 활용한 고객여정분석 - 4
수익증대 시나리오1 : 무료서비스를 주로 이용하는 고객군을 발견하고 이들의 방문목적에 따라 자주 방문하는 페이지에 Target Marketing을 수행하는 것으로 조치함 시나리오2 : push 알림 마케팅 서비스 효과 검증 시나리오1 : 원인 : 라디오, 동영상재생, 앨범댓글작성 등 무료서비스를 주로 사용하는 사용자를 확인함 해결 : 고객군에 따라 알맞은 Target Marketing 등 프로모션을 수행하여 구매전환율을 높일 방안을 모색함 시나리오2 : 원인 : 당일 가입자중 push알림 서비스를 신청한 고객들에게는 할인쿠폰을 지급하고 있음, 이러한 마케팅의 효과를 알아보고자함 해결 : push 알림 서비스를 신청한 고객들의 이용권 구매율이 높았으므로 알림을 신청하지 않은 고객의 알림 신청을 적극 유도하..
2021.10.28