버그 해결을 위한 모든 질문을 던져
0 votes
218 views
NoSQL을 자주 접하지 않아서 무식한 질문일수도 있습니다..

 

테이블에 10만개의 아이템(Document)를 저장하고, 이를 한시간에 한번 1만개 씩 순차적으로, 총 10시간에 10만개를 처리하여야 합니다.
> 아이템은 { string, string, date_time } 구성입니다.

 

AWS Lambda와 CloudWatch를 잘 배치해서 한시간에 한번씩 이벤트를 발생시키는 작업은 해두었는데,, 막상 DynamoDB의 테이블에서 만개씩 읽어오는게 쉽지 않더라구요..

 

RDB였으면 id를 AutoIncrements를 해두고 Where로 나눠서 가져오는걸 생각했는데, DynamoDB에서는 지원하지 않고 NoSQL에서도 좋은 방법은 아니라고 하더라구요..

 

이러한 경우엔 어떻게 처리하는게 좋은 방법인지 궁금합니다.

 

p.s) AWS Lambda에서 호출하는거라 되도록이면 DynamoDB 를 사용하려고 합니다.. 정 안되면 VPC에 묶에서 RDB를 쓸 생각입니다..
asked (13 point) , 218 views

1 답변

0 votes
우수 답변
자답..아닌 자답합니다.

 

out of box로 해결하는 수 밖에 없었습니다,, Dynamodb의 기능만으로는 처리할 수 없었구요.

아이템 넣을때마다 lastIndex 만들어서 하나씩 올려준 다음 그 인덱스로 질의하는 방법정도 있을 거 같았으나, 생각중에 애초에 Dynamodb목적에 맞지 않는것 같아 그냥 VPC 엮어줘서 RDS(MariaDB), ElasticCache(Redis) 붙였습니다.
answered (13 point)

버그 해결을 위해 도움을 구하고, 도움을 주세요. 우리는 그렇게 발전합니다.

throw bug 는 프로그래밍에 대한 전분야를 다룹니다. 질문,논의거리,팁,정보공유 모든 것이 가능합니다. 프로그래밍과 관련이 없는 내용은 환영받지 못합니다.

127 질문
222 answers
253 댓글
246 users