개발이 하고싶은, 첼시를 좋아하는

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Company 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/14 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Title 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Company name 이 전까지 일자리에 대한 title을 추출했고 그 일자리를 제공하는 회사의 이름을 추출한다. 추출할 회사의 이름을 추출하기 위해 페이지 검사를 해본다. 검사를 해보면 class 명이 "sjcl"이라는 div 안에 회사의 이름이 class 명이 "compa..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Title 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/09 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 페이지 요청 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Titles 정보를 추출하기 원하는 URL을 요청하고 요청된 URL에서 html 정보를 가져온 뒤 가져온 html 정보에서 원하는 것을 추출한다. Indeed 구인 정보에서 각각의 div의 title은 회사에서 채용하기 원하는 분야에 대한 text가 담겨 있다. 이를 추출하기 위해선 ..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 페이지 요청

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/09 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting 2 Part 2 파이썬으로 웹 스크래퍼 만들기 Request 보내기 range() 함수를 이용 range() 함수는 argument로 넣은 수만큼의 크기의 배열을 생성한다 ex) x = 3 for n in range(x): print(x) 0. 1. 2가 출력된다. range 함수를 이용해 Request를 하기 위해선? r..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting 2

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting Part 2 파이썬으로 웹 스크래퍼 만들기 Beautiful Soup을 통해 Text만 가져오는 방법 soup.title.string을 사용 links = pagination.find_all('a') spans = [] for link in links: spans.append(link.find("span")) 이전의 pag..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 requests 모듈 설치 / Beautiful Soup 모듈 설치 Part 2 파이썬으로 웹 스크래퍼 만들기 Extracting Beautiful Soup 사용하기 Beautiful Soup을 import 해서 soup이란 변수를 생성한다. 자세한 사용방법은 www.crummy.com/software/BeautifulSoup/bs4/doc/ Beaut..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 requests 모듈 설치 / Beautiful Soup 모듈 설치

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 웹 스크래핑이란 Part 2 파이썬으로 웹 스크래퍼 만들기 웹 스크래퍼를 만들기 위한 단계는 다음과 같다. 1. url로 접근(python을 통해) 2. 페이지 수 파악, 각 페이지에 하나씩 들어가기 (검색 조건, 몇 개가 검색될지 설정) 3. indeed 정보 추출 후 stackoverflow 추출 (번갈아가며 x) 4. 가져온 정보 엑셀 시트에 정리..