Selenium 4.10 버전 Selenuim으로 작성한 크롤링 파일을 Docker로 build 하려 했는데, docker는 화면 자체가 없고 chrome driver도 따로 설치해 주어야 하기 때문에 그대로 코드를 동작시킬 수 없다. 문제는 Selenium이 최신 버전인 4.10 까지 지속적인 업데이트를 하면서, 기존의 docker 상에서 Selenium 동작시키는 정보들을 따라 하면 오류가 발생한다. (덕분에 트러블 슈팅에 개고생을...) 여러 사이트의 정보로 시행착오를 거치며 결국 build에 성공한 4.10 버전의 build 방식을 소개하겠다. Dockerfile 일단 Dockerfile의 작성은 아래의 게시글 작성자 분이 잘 설명해 주고 있다. https://velog.io/@ywoosang/a..

다른 크롤러들과는 다르게 실제 user처럼 동작시키므로 원하는 데이터를 얻기 위해서는 일일이 조작시켜 주어야 한다. 이러한 방식은 귀찮지만, python의 request로 요청을 보내는 프로그램이 크롤링으로 감지되어 요청을 거절당한다면 사용할 수밖에 없는 대안이다. 설치하기 일단 공식 홈페이지에 들어가자. https://pypi.org/project/selenium/ selenium pypi.org 최신 버전은 Python 3.7이상을 요구하고 있다. Python 3.7+ 일단 pip 혹은 conda로 selenium을 설치해 주자. pip install -U selenium 이제 크롬 드라이버를 버전에 맞게 설치해야 한다. 크롬의 설정에서 정보창에 버전을 확인해 주자. 크롬 드라이버 링크 https:/..