python15 [Web] 과제 (지니뮤직 크롤링) - ( week 3 ) 지니뮤직을 크롤링해서 가져온다. 지니뮤직 URL 우선 기본 세팅부터 한다. 사용할 라이브러리를 import 해주고 데이터를 가져온다. import requests from bs4 import BeautifulSoup URL = "https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20230101" headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(URL,headers=headers) soup = BeautifulSoup(d.. 2023. 4. 20. [Web] 스크래핑 데이터 저장 - ( week 3 ) 이제 스크래핑한 데이터를 DB에 저장해 보도록 한다. 베이스 코드 import requests from bs4 import BeautifulSoup URL = "https://movie.daum.net/ranking/reservation" headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(URL,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') video_list = soup.select("#mainCo.. 2023. 4. 20. [Web] MongoDB Atlas ( week 3 ) 우선 MongoDB Atlas 페이지에 접속해서 회원가입부터 진행한다. https://account.mongodb.com/account/register 그리고 Create Database를 선택해서 데이터 베이스를 생성해 주도록 한다. 테스트만 진행할것이기 때문에 무료로도 충분하다. 그러고 나서 Username과 Password를 만들어준다. 생성한 정보는 까먹지 않도록 따로 메모해 둔다. 그리고 아래에서 IP Address를 추가한다. 그리고 Finish를 하면 DB에 접속할 준비가 끝났다. 접속하기 python으로 해당 DB에 접속하기 위해서 두 가지 패키지가 필요하다. pip install dnspython pip install pymongo 두가지 패키지 설치가 모두 끝났으면 이제 코드를 작성한다.. 2023. 4. 20. [Web] 크롤링 - ( week 3 ) 웹 페이지의 데이터를 가져오는 것을 웹 스크래핑 또는 크롤링이라고 한다. 데이터를 가져와볼 페이지는 https://movie.daum.net/ranking/reservation 이다. 베이스 코드 import requests from bs4 import BeautifulSoup URL = "https://movie.daum.net/ranking/reservation" headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(URL, headers=headers) soup =.. 2023. 4. 20. 이전 1 2 3 4 다음
