개발이 하고싶은, 첼시를 좋아하는

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 페이지 요청

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/09 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting 2 Part 2 파이썬으로 웹 스크래퍼 만들기 Request 보내기 range() 함수를 이용 range() 함수는 argument로 넣은 수만큼의 크기의 배열을 생성한다 ex) x = 3 for n in range(x): print(x) 0. 1. 2가 출력된다. range 함수를 이용해 Request를 하기 위해선? r..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 requests 모듈 설치 / Beautiful Soup 모듈 설치

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 웹 스크래핑이란 Part 2 파이썬으로 웹 스크래퍼 만들기 웹 스크래퍼를 만들기 위한 단계는 다음과 같다. 1. url로 접근(python을 통해) 2. 페이지 수 파악, 각 페이지에 하나씩 들어가기 (검색 조건, 몇 개가 검색될지 설정) 3. indeed 정보 추출 후 stackoverflow 추출 (번갈아가며 x) 4. 가져온 정보 엑셀 시트에 정리..