Base/Python

[Python] python 에서 Seleium을 통한 동적 크롤링 - 1

반응형

 Seleium을 통한 동적 크롤링


첫 번째로는 기본적인 함수를 넣어준다.

위에 간단하게 셀레늄을 통해 요소를 찾는 방법들을 정리했다.

driver.get('url')이라는 명령어 구문으로 해당 사이트를 접속한다.

 

해당 부분에서 나는 메뉴에 따라서 크롤링을 하려 한다. 그러기 위해서 해당 부분이 어떤 것으로 이뤄졌는지 확인한다.

 

해당되는 모든 요소를 가져오기위해 find_elements를 사용하였고 나는 class를 가져오기 때문에 뒤에 추가적으로

_by_css_selector을 붙여줬다. 그리고 가져오는 부분의 이름을 적어주고 경로까지 적어주었다. 

이런 방식으로 가져온다. menus 를 가져온다.

 

그다음 가져온 menus를 하나씩 꺼내어 menu를 클릭하는 로직을 구현한다.

여기서는 menu 중에 Python 이 있으면 그 메뉴를 click_menu로 저장하고. click()를 통해 클릭 이벤트를 발생시킨다.

그 후 5 초뒤에 close 하게 한다.

이렇게 클릭 이벤트를 할 수 있다.

 

반응형