Etsy(엣시) 서비스란?
엣시는 미국의 웹2.0을 기반으로 한 전자상거래 사이트이다. 당시 목수이자 웹 디자이너이었던 엣시의 창업자 로버트 칼린은 대표적 전자상거래 사이트인 이베이가 아닌 좀 더 특별한 웹 사이트에 그가 만든 목공예품을 등록하길 원했으며, 2005년 6월 18일에 소셜 네트워크 쇼핑몰 엣시를 구축 했다. 현재 엣시에는 핸드메이드 물건과 사진, 그림, 빈티지 제품 등을 판매 할 수 있고 약 150여개 국가에서 240만명의 유저들이 엣시를 이용하고 있다. 위키백과Activity Feed Architecture
1. 주요 요소
1) Connections : 유저와 샵, 유저와 유저와의 관계 (node, edge, weight를 가지고 있음)2) Activities : (Subject, verb, object)로 구성됨. ex) 찰스가 A물품에 좋아하기를 눌렀다.
2. 피드 생성 단계
1) Aggregation : Connection을 기반으로 Activities를 모아 유저별로 newsfeed를 구성2) Display : newsfeed를 화면에 노출
3. Aggregation
1) affinity 기반으로 connection을 선출함. (다만 random도 어느정도 반영하여 affinity가 떨어지는 connection도 newsfeed 구성에 일부 활용)2) 대부분의 유저들은 connection이 잘 구성되지 않는 경우가 많은데, 12개 정도의 connection을 임의로 선출하여 사용함.
3) 이후 Activity Set들을 구성 (메모리 자료구조 활용함), 이것들을 분류하고 중복은 제거하고 score (time decay function)를 생성하여, sort&merge함. 이것을 기존에 있던 newsfeed 중간중간에 껴넣는 작업을 진행, 그리고 해당 newsfeed가 일정 길이 이상 길어지면 제거하는 작업도 함께 진행함. 최종적으로 구성된 newsfeed를 memcached에 저장함.
4) Aggregation은 다음 단계에서 수행. (peak시에 25배 정도 늘어남)
- 유저가 뭔가를 마쳤을때, 예를들면 로그인 완료.
- cron잡이 돌때 (스케쥴링)
- 유저의 connections들이 뭔가를 할때. (트래픽이 겁나 늘어나는 지점)
4. Display
1) memcached에 저장된 news를 화면에 뿌려줌2) 그냥 naive하게 보여주면 너무 장황해 보이고, 따라서 roll up해주는 과정을 거침.
3) 그리고 해당 rollup된 묶음에 스토리를 부여해줌.
5. 성능 향상
1) 캐시 웜업 작업2) TTL 캐싱 적용
3) 화면에 보여지는 형태(template)로 ORM을 구성하여 사용함.
4) 화면상에 lazy loading 적용
참고 링크
- 웹사이트 : https://www.etsy.com/- 설명자료 : http://www.slideshare.net/danmckinley/etsy-activity-feeds-architecture/
댓글
댓글 쓰기