반응형
센서에서 초당 50개의 row 데이터를 api로 받아 db에 적재시키고자 하고 있는데 초당 50개 이므로, 하루 432만 개의 데이터가 적재된다.
큰 데이터를 다루어 본 적이 없어 굉장히 큰 양으로 느껴져 하루에 적재되는 실제 용량은 어느정도 될 지 계산해 보았다.
select table_name, table_rows, round((data_length+table_rows)/1024,1) from information_schema.tables where talbe_schema='db'
테스트로 적재한 200 row 의 용량이 48.2KB. 기본 테이블 용량이 16KB인 것으로 보여 200row에 32.2KB인 것으로 확인.
하루 기준으로 계산하면 약 679MB.
한 달이면 약 21GB가 될 것으로 보인다.
일단은 row가 많으므로 raw 데이터 수집 테이블을 기존 1개에서 2개로 분리하였다.
하루 432만 개 row 라는 점에서 엄청난 양이라고 생각하였으나 한 달에 약 21GB 라는 직관적인 값을 예상해보니 어떻게 대응을 해야 할 지 조금 감이 오는 것 같다.
반응형
'개발 > 개발관련' 카테고리의 다른 글
[개발관련] 간단한 UDP 테스트 (java, nc) (0) | 2024.04.10 |
---|---|
[개발관련] 공공API 단기예보 JSON 포맷 (0) | 2024.04.07 |
[개발관련] 인텔리제이 특정 패턴 일괄 변경 (0) | 2024.03.31 |
[개발관련] SNMP walk, bulkwalk 비교 (1) | 2024.03.30 |
[개발 관련] 시스템 콜 확인 하는 방법- strace (1) | 2024.03.28 |