일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |
Tags
- stack
- OLTP
- QuickSort
- DFS
- Cookies
- 고득점KIT
- Data Engineering
- 백준
- 알고리즘
- 챗봇
- 데이터파이프라인
- SQL스터디
- 퀵정렬
- BFS
- 분할정복
- 탐색알고리즘
- Chatbot
- Merge sort
- olap
- Sessions
- sql
- 웹기초
- 프로그래머스
- PYTHON
- 병합정렬
- 데이터엔지니어
- 데이터엔지니어링
- deque
- queue
- divide and conquer
Archives
- Today
- Total
Trey
Spotify API와 AWS를 활용한 Facebook Chatbot 프로젝트 본문
저의 첫 데이터 엔지니어링 프로젝트를 Github에 올렸습니다! :)
Fastcampus Data Engineering 강의를 마칠때쯤, Facebook Chatbot 프로젝트를 하면서, 데이터 파이프라인을 만들어보았습니다. 대부분의 코드는 강의에서 본 것이지만, 직접 코딩하고 코멘트를 남기면서 전체적인 파이프라인을 이해할 수 있었습니다.
제가 강의를 들으며 만든 Facebook Chatbot에서는 아티스트를 검색하면, 해당 아티스트의 인기차트/앨범 등이 나오는 Spotify링크와 아티스트의 장르는 무엇인지 간략하게 소개해줍니다.
현재는 코로나때문에 Facebook에서 앱 검토를 중단해서 배포하지 못하고 있지만ㅠㅠ, 추후에는 다른 프로젝트도 구상해서 실제 사람들이 사용할 수 있도록 만들어보려고합니다.
아래 Github 링크를 통해 제가 파이프라인을 만들면서 고민하고 배운점들을 계속해서 정리할 예정입니다. 코드도 곧 업로드될 것입니다.
(DB는 AWS RDS와 DynamoDB를 사용했는데, 왜 각각 다른 DB를 사용했는지 특징은 무엇인지 등등..)
Github 링크 : https://github.com/TreyYi/Data-Engineering
아직 부족한 부분이 많지만, 계속해서 데이터 엔지니어링 관련 학습을 하고, 스스로 고민을 하면서, 올해 말에는 데이터 엔지니어에 좀 더 가까워져있길!