개발이 하고싶은, 첼시를 좋아하는

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 id csv파일 만들기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021.02.16 - [Developer/Python - 웹 스크래핑] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 id 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 CSV 파일 만들기 indeed에서 직업 정보를 추출한 것과 마찬가지로 StackOverFlow에서 정보를 추출해 오면 수많은 일자리 정보를 추출한 결과를 확인할 수 있다. 이제 추출한 결과를 excel파일로 저장해 주기만 하면 된다. CSV란? CSV(영어: comma-separ..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 id 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/16 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Location 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract ID 각각의 Job Card는 고유 id를 갖고 있다. Job Card를 클릭하면 새로운 페이지가 열리는데 URL에서 Card의 ID를 확인할 수 있다. 위 Card를 클릭하면 새로운 페이지가 나타난다. 그리고 URL을 확인해보면 빨갛게 표시된 부분이 해당 Job Card..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Location 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/16 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, strip()으로 공백 지우기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Location 일자리와 일자리를 제공하는 회사의 이름을 추출했고, 일자리를 제공하는 회사의 위치를 추출한다. 우선 location을 추출하기 위해 페이지 검사를 해본다. 회색 부분이 location 정보인데 span의 string만 추출하면 되는 간단한 구조이다. def ext..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 strip()으로 공백 지우기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/14 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Company 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 title과 company를 추출하고 나서 출력해보면 다음처럼 출력된다. 지난 글까지의 과정에서 일자리 정보를 추출하는 for문을 새로운 함수로 정의해준다. indeed.py extract_jobs()함수 def extract_jobs(html): # 인자로 soup을 준다. title ..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Company 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/14 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Title 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Company name 이 전까지 일자리에 대한 title을 추출했고 그 일자리를 제공하는 회사의 이름을 추출한다. 추출할 회사의 이름을 추출하기 위해 페이지 검사를 해본다. 검사를 해보면 class 명이 "sjcl"이라는 div 안에 회사의 이름이 class 명이 "compa..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Title 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/09 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 페이지 요청 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Titles 정보를 추출하기 원하는 URL을 요청하고 요청된 URL에서 html 정보를 가져온 뒤 가져온 html 정보에서 원하는 것을 추출한다. Indeed 구인 정보에서 각각의 div의 title은 회사에서 채용하기 원하는 분야에 대한 text가 담겨 있다. 이를 추출하기 위해선 ..