개발이 하고싶은, 첼시를 좋아하는

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting 2

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting Part 2 파이썬으로 웹 스크래퍼 만들기 Beautiful Soup을 통해 Text만 가져오는 방법 soup.title.string을 사용 links = pagination.find_all('a') spans = [] for link in links: spans.append(link.find("span")) 이전의 pag..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 requests 모듈 설치 / Beautiful Soup 모듈 설치

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 웹 스크래핑이란 Part 2 파이썬으로 웹 스크래퍼 만들기 웹 스크래퍼를 만들기 위한 단계는 다음과 같다. 1. url로 접근(python을 통해) 2. 페이지 수 파악, 각 페이지에 하나씩 들어가기 (검색 조건, 몇 개가 검색될지 설정) 3. indeed 정보 추출 후 stackoverflow 추출 (번갈아가며 x) 4. 가져온 정보 엑셀 시트에 정리..