github actions로 폴더마다 다른 도커 image를 build 하고 AWS ECR로 업로드해보자. 일단 레퍼지토리에서 단 하나의 docker image를 빌드한다면 다른 분이 만든 workflow를 이용하면 쉽다. https://github.com/jwalton/gh-ecr-push/tree/master GitHub - jwalton/gh-ecr-push: GitHub Action to push a docker image to Amazon ECR. GitHub Action to push a docker image to Amazon ECR. - GitHub - jwalton/gh-ecr-push: GitHub Action to push a docker image to Amazon ECR. gith..

Selenium 4.10 버전 Selenuim으로 작성한 크롤링 파일을 Docker로 build 하려 했는데, docker는 화면 자체가 없고 chrome driver도 따로 설치해 주어야 하기 때문에 그대로 코드를 동작시킬 수 없다. 문제는 Selenium이 최신 버전인 4.10 까지 지속적인 업데이트를 하면서, 기존의 docker 상에서 Selenium 동작시키는 정보들을 따라 하면 오류가 발생한다. (덕분에 트러블 슈팅에 개고생을...) 여러 사이트의 정보로 시행착오를 거치며 결국 build에 성공한 4.10 버전의 build 방식을 소개하겠다. Dockerfile 일단 Dockerfile의 작성은 아래의 게시글 작성자 분이 잘 설명해 주고 있다. https://velog.io/@ywoosang/a..

다른 크롤러들과는 다르게 실제 user처럼 동작시키므로 원하는 데이터를 얻기 위해서는 일일이 조작시켜 주어야 한다. 이러한 방식은 귀찮지만, python의 request로 요청을 보내는 프로그램이 크롤링으로 감지되어 요청을 거절당한다면 사용할 수밖에 없는 대안이다. 설치하기 일단 공식 홈페이지에 들어가자. https://pypi.org/project/selenium/ selenium pypi.org 최신 버전은 Python 3.7이상을 요구하고 있다. Python 3.7+ 일단 pip 혹은 conda로 selenium을 설치해 주자. pip install -U selenium 이제 크롬 드라이버를 버전에 맞게 설치해야 한다. 크롬의 설정에서 정보창에 버전을 확인해 주자. 크롬 드라이버 링크 https:/..

Elastic stack Elastic stack는 데이터 분석에 필요한 모든 유형의 데이터를 실시간으로 검색, 분석 및 시각화할 수 있는 Elastic 사의 오픈소스 데이터 분석 플랫폼이다. Elastic stack은 크게 4가지 기술로 구성되어 있다. Elastic Search Kibana Logstash Beat 이 중에 핵심 기술인 Elastic Search는 NOSQL을 사용하는 검색 엔진이다. 따라서 단순히 사용한다면 NOSQL DB로도 활용할 수 있지만, Elastic Search의 장점을 구조를 통해 알아보자. Elastic Search Elastic Search는 간단히만 보면 3가지로 구성된다 NOSQL Search Engine REST API elastic search는 NOSQL D..

C++에서 Vector를 생성할 때 일일이 복사해 주거나 copy 메서드 혹은 assign 메서드를 활용할 수 있지만, 생성 시에 값을 복사해 주는 방법으로 복사 생성자(copy constructor)가 존재한다. 이는 복사 대상 Vector의 iterator를 활용하면 설정한 시작(first)과 끝(last)까지 순서대로 복사시켜 새로운 vector를 만들어준다. vector copyVector(first, last); void copyCheck() { vector vec = {1,2,3,4,5,6 }; vector subCopyVec(vec.begin() +1 , vec.begin() + 4); for (auto it = subCopyVec.begin(); it!= subCopyVec.end(); i..

Spring과 MySQL을 연동하기 위해 모든 세팅을 맞추고 실행도 잘 되었다. 하지만, 재부팅만하면 MySQL root 계정 접속 시, 'Access denied for user 'root'@'localhost' (using password: YES)' 라는 오류를 계속 만나게 된다. 문제는 이 오류가 비밀번호가 맞지 않아 발생하는 오류인데, 분명 맞는 번호를 입력해도 'Access denied for user 'root'@'localhost' (using password: YES)' 오류 만이 발생하였다. 몇번을 MySQL을 재설치 하더라도 재부팅만 하면 동일한 현상이 발생한다. 포기하고 이전에 사용하던 MariaDB를 적용해보기 위해 MariaDB를 테스트하던 중 설마 둘이 충돌이 난건 아닐까 생각..

LightGCN에서 성능 개선을 목표로 자료 조사 중에 LightGCN을 그대로 사용하면서, node의 feature 정보를 활용한 논문을 발견하여 간단히 리뷰해 본다. 논문 링크: https://ieeexplore.ieee.org/document/9361663 Light Graph Convolutional Collaborative Filtering With Multi-Aspect Information The personalized recommendation has become increasingly prevalent in real-world applications, to help users in discovering items of interest. Graph Convolutional Network (..

*주의: Transformer와 Attention 내용이 혼합되어 있습니다.* 이전 글: Seq2Seq 정리 원문: https://github.com/bentrevett/pytorch-seq2seq/blob/master/6%20-%20Attention%20is%20All%20You%20Need.ipynb GitHub - bentrevett/pytorch-seq2seq: Tutorials on implementing a few sequence-to-sequence (seq2seq) models with PyTorch and Torc Tutorials on implementing a few sequence-to-sequence (seq2seq) models with PyTorch and TorchText. ..

원문: https://github.com/bentrevett/pytorch-seq2seq GitHub - bentrevett/pytorch-seq2seq: Tutorials on implementing a few sequence-to-sequence (seq2seq) models with PyTorch and Torc Tutorials on implementing a few sequence-to-sequence (seq2seq) models with PyTorch and TorchText. - GitHub - bentrevett/pytorch-seq2seq: Tutorials on implementing a few sequence-to-sequence (seq2se... github.com 논문: htt..

출처:https://arxiv.org/abs/2002.02126 LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation Graph Convolution Network (GCN) has become new state-of-the-art for collaborative filtering. Nevertheless, the reasons of its effectiveness for recommendation are not well understood. Existing work that adapts GCN to recommendation lacks thorough ablation arxiv.org ABSTACT GCN은 col..