크롤링이란?
* 웹상에 존재하는 contents들을 수집하는 작업.
- HTML 페이지를 가져와서, HTM/CSS등을 파싱하고 , 필요한 데이터만 추출하는 기법
- OPEN API를 제공하는 서비스에 OPEN API를 호출해서 받은 데이터중 필요한 데이터만 추출하는 방법
//BeautifulSoup 라이브러리를 이용
pip install bs4 #beautifulsoup라이브러리 다운로드
import requests
main_url = 'url_링크' #파싱 받으려는 페이지 URL
page = requests.get(mail_url) # 페이지 요청
soup = BeautifulSoup(page.content, 'html.parser' ) #파싱받은 데이터를 soup변수에 저장
a_tag = soup.find_all('a') #파싱받은 데이터중 'a' 태그의 값을 전부 조회
'Python' 카테고리의 다른 글
| 파이썬 개발 가능한 툴(google colab) (0) | 2020.01.17 |
|---|
