[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 웹 스크래핑이란

파이썬으로 웹 스크래퍼 만들기

 

Part 1 이론

Part 2 파이썬으로 웹 스크래퍼 만들기

Part 3 Django를 사용하기 위해 알면 좋은 것

 

파이썬으로 웹 스크래퍼 만들기는 위와 같은

3개의 Part로 나누어 진행한다.

 

이 전 글 보기

2021/02/02 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 1 Modules(모듈)

---

Part 2 파이썬으로 웹 스크래퍼 만들기

 

Web Scrapping(웹 스크래핑)?

웹 스크래핑이란

Web 상의 데이터를

추출하는 것

 

 

 ex)

origin : https://www.goal.com/kr/

위 사진은

Goal.com의 기사이다.

 

이 기사의 url을 복사해

내 페이스북에서 작성하면?

 

이렇게 자동으로

기사의 제목과 첫 번째 사진을

가져온다.

 

제목과 이미지를 가져와

preview를 보여주는데

이 같은 것을 스크래핑이라고 한다.

 

 

 

ex2)

google.com에 아이유를 검색하면

유튜브 동영상

이렇게 아이유 관련 정보가

나오게 되는데

이 또한 스크래핑한 것이다.

---

 

이것을 통해 만드는 프로젝트는?

파이썬 일자리를 찾는다는 가정하에

Indeed와 Stackoverflow에서

정보를 가져오는 것이다.

 

1. Scrapper 만들기

2. Url로 이동해 모든 페이지에 접속

3. 등록된 일자리를 추출

4. 엑셀 시트에 정리

 

위 내용은 

madcoders.co

Madcoders

노마드 코더의 강의를 기반

 

 

 

추후에 직접 웹 스크래핑 프로젝트를 진행