개발이 하고싶은, 첼시를 좋아하는

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 id 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/16 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Location 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract ID 각각의 Job Card는 고유 id를 갖고 있다. Job Card를 클릭하면 새로운 페이지가 열리는데 URL에서 Card의 ID를 확인할 수 있다. 위 Card를 클릭하면 새로운 페이지가 나타난다. 그리고 URL을 확인해보면 빨갛게 표시된 부분이 해당 Job Card..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Location 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/16 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, strip()으로 공백 지우기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Location 일자리와 일자리를 제공하는 회사의 이름을 추출했고, 일자리를 제공하는 회사의 위치를 추출한다. 우선 location을 추출하기 위해 페이지 검사를 해본다. 회색 부분이 location 정보인데 span의 string만 추출하면 되는 간단한 구조이다. def ext..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 strip()으로 공백 지우기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/14 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Company 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 title과 company를 추출하고 나서 출력해보면 다음처럼 출력된다. 지난 글까지의 과정에서 일자리 정보를 추출하는 for문을 새로운 함수로 정의해준다. indeed.py extract_jobs()함수 def extract_jobs(html): # 인자로 soup을 준다. title ..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 페이지 요청

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/09 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting 2 Part 2 파이썬으로 웹 스크래퍼 만들기 Request 보내기 range() 함수를 이용 range() 함수는 argument로 넣은 수만큼의 크기의 배열을 생성한다 ex) x = 3 for n in range(x): print(x) 0. 1. 2가 출력된다. range 함수를 이용해 Request를 하기 위해선? r..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting 2

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting Part 2 파이썬으로 웹 스크래퍼 만들기 Beautiful Soup을 통해 Text만 가져오는 방법 soup.title.string을 사용 links = pagination.find_all('a') spans = [] for link in links: spans.append(link.find("span")) 이전의 pag..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 requests 모듈 설치 / Beautiful Soup 모듈 설치 Part 2 파이썬으로 웹 스크래퍼 만들기 Extracting Beautiful Soup 사용하기 Beautiful Soup을 import 해서 soup이란 변수를 생성한다. 자세한 사용방법은 www.crummy.com/software/BeautifulSoup/bs4/doc/ Beaut..