본문 바로가기

전체 글75

[Web] 스크래핑 데이터 저장 - ( week 3 ) 이제 스크래핑한 데이터를 DB에 저장해 보도록 한다. 베이스 코드 import requests from bs4 import BeautifulSoup URL = "https://movie.daum.net/ranking/reservation" headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(URL,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') video_list = soup.select("#mainCo.. 2023. 4. 20.
[Web] MongoDB Atlas ( week 3 ) 우선 MongoDB Atlas 페이지에 접속해서 회원가입부터 진행한다. https://account.mongodb.com/account/register 그리고 Create Database를 선택해서 데이터 베이스를 생성해 주도록 한다. 테스트만 진행할것이기 때문에 무료로도 충분하다. 그러고 나서 Username과 Password를 만들어준다. 생성한 정보는 까먹지 않도록 따로 메모해 둔다. 그리고 아래에서 IP Address를 추가한다. 그리고 Finish를 하면 DB에 접속할 준비가 끝났다. 접속하기 python으로 해당 DB에 접속하기 위해서 두 가지 패키지가 필요하다. pip install dnspython pip install pymongo 두가지 패키지 설치가 모두 끝났으면 이제 코드를 작성한다.. 2023. 4. 20.
[Web] 데이터베이스 - ( week 3 ) Database 데이터베이스는 정보를 저장할 수 있는 공간이다. 중요한 것은 정보를 쌓아두는 것만이 아니라 이후에 다시 꺼내서 사용하기 위함이므로 정리해서 넣어 놓는 것이 중요하다. DB는 크게 두 가지로 분류된다. SQL RDB(Relational Database) 관계형 데이터베이스 행과 열의 생김새가 정해진 엑셀에 데이터를 저장하는 방식이다. 데이터가 많아질수록 도중에 데이터를 추가하는것은 어렵지만 정형화된 구조이기 때문에 데이터의 일관성이 유지되고 분석에 용이하다. 이러한 기능을 쉽게 접근하고 사용할 수 있도록 지원해 주는 프로그램을 RDBMS라고 한다. RDBMS : Relational Database Management System 흔히 알고있는 Oracle, MS-SQL, My-SQL 등이 .. 2023. 4. 20.
[Web] 크롤링 - ( week 3 ) 웹 페이지의 데이터를 가져오는 것을 웹 스크래핑 또는 크롤링이라고 한다. 데이터를 가져와볼 페이지는 https://movie.daum.net/ranking/reservation 이다. 베이스 코드 import requests from bs4 import BeautifulSoup URL = "https://movie.daum.net/ranking/reservation" headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(URL, headers=headers) soup =.. 2023. 4. 20.

티스토리툴바