개발이 하고싶은, 첼시를 좋아하는

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Company 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/14 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Title 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Company name 이 전까지 일자리에 대한 title을 추출했고 그 일자리를 제공하는 회사의 이름을 추출한다. 추출할 회사의 이름을 추출하기 위해 페이지 검사를 해본다. 검사를 해보면 class 명이 "sjcl"이라는 div 안에 회사의 이름이 class 명이 "compa..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Title 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/09 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 페이지 요청 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Titles 정보를 추출하기 원하는 URL을 요청하고 요청된 URL에서 html 정보를 가져온 뒤 가져온 html 정보에서 원하는 것을 추출한다. Indeed 구인 정보에서 각각의 div의 title은 회사에서 채용하기 원하는 분야에 대한 text가 담겨 있다. 이를 추출하기 위해선 ..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 requests 모듈 설치 / Beautiful Soup 모듈 설치

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 웹 스크래핑이란 Part 2 파이썬으로 웹 스크래퍼 만들기 웹 스크래퍼를 만들기 위한 단계는 다음과 같다. 1. url로 접근(python을 통해) 2. 페이지 수 파악, 각 페이지에 하나씩 들어가기 (검색 조건, 몇 개가 검색될지 설정) 3. indeed 정보 추출 후 stackoverflow 추출 (번갈아가며 x) 4. 가져온 정보 엑셀 시트에 정리..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 1 Modules(모듈)

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/02 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 1 조건문, for 루프 Part 1 이론 Modules(모듈) 파이썬에는 Module(모듈)이 내장되어 있다. 모듈은 기능의 집합 같은 것으로 프로그램에서 import해서 사용 가능하다. ex) print(math.ceil(1.2)) 올림 함수인 math.ceil()을 위처럼 사용하면 에러가 발생한다. math is not defined math라는 것이..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 1 조건문, for 루프

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/02 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 1 Keyword Argument Part 1 이론 조건문 1. if else if else 조건문의 구조는 다음과 같다. if 조건: something return else 조건: something return if 조건이 True이면 if문 안의 내용을 실행하고 False라면 그다음 else문을 실행한다. 2. if else and or 조건문에는 Bo..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 1 Keyword Argument

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/02 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 1 Return Part 1 이론 Keyword Arugment(키워드 인자) 앞선 글들에서 사용한 것은 positional argument(위치 인자)로 위치에 따라 정해지는 것이다. 반면, Keyword Argument(키워드 인자)는 위치에 따라 정해지는 것이 아니라 이름으로(argument의) 쌍을 이루는 것이다. def plus(a,b): retu..