개발이 하고싶은, 첼시를 좋아하는

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Location 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/16 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, strip()으로 공백 지우기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Location 일자리와 일자리를 제공하는 회사의 이름을 추출했고, 일자리를 제공하는 회사의 위치를 추출한다. 우선 location을 추출하기 위해 페이지 검사를 해본다. 회색 부분이 location 정보인데 span의 string만 추출하면 되는 간단한 구조이다. def ext..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 strip()으로 공백 지우기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/14 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Company 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 title과 company를 추출하고 나서 출력해보면 다음처럼 출력된다. 지난 글까지의 과정에서 일자리 정보를 추출하는 for문을 새로운 함수로 정의해준다. indeed.py extract_jobs()함수 def extract_jobs(html): # 인자로 soup을 준다. title ..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Company 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/14 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Title 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Company name 이 전까지 일자리에 대한 title을 추출했고 그 일자리를 제공하는 회사의 이름을 추출한다. 추출할 회사의 이름을 추출하기 위해 페이지 검사를 해본다. 검사를 해보면 class 명이 "sjcl"이라는 div 안에 회사의 이름이 class 명이 "compa..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Title 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/09 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 페이지 요청 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Titles 정보를 추출하기 원하는 URL을 요청하고 요청된 URL에서 html 정보를 가져온 뒤 가져온 html 정보에서 원하는 것을 추출한다. Indeed 구인 정보에서 각각의 div의 title은 회사에서 채용하기 원하는 분야에 대한 text가 담겨 있다. 이를 추출하기 위해선 ..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 페이지 요청

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/09 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting 2 Part 2 파이썬으로 웹 스크래퍼 만들기 Request 보내기 range() 함수를 이용 range() 함수는 argument로 넣은 수만큼의 크기의 배열을 생성한다 ex) x = 3 for n in range(x): print(x) 0. 1. 2가 출력된다. range 함수를 이용해 Request를 하기 위해선? r..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting 2

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting Part 2 파이썬으로 웹 스크래퍼 만들기 Beautiful Soup을 통해 Text만 가져오는 방법 soup.title.string을 사용 links = pagination.find_all('a') spans = [] for link in links: spans.append(link.find("span")) 이전의 pag..