개발/개발관련

[개발관련] 수집 데이터 용량 확인 (하루 432만 row)

mabb 2024. 4. 1. 10:34
반응형

센서에서 초당 50개의 row 데이터를 api로 받아 db에 적재시키고자 하고 있는데 초당 50개 이므로, 하루 432만 개의 데이터가 적재된다.
큰 데이터를 다루어 본 적이 없어 굉장히 큰 양으로 느껴져 하루에 적재되는 실제 용량은 어느정도 될 지 계산해 보았다.

select table_name, table_rows, round((data_length+table_rows)/1024,1) from information_schema.tables where talbe_schema='db'

테스트로 적재한 200 row 의 용량이 48.2KB. 기본 테이블 용량이 16KB인 것으로 보여 200row에 32.2KB인 것으로 확인.
하루 기준으로 계산하면 약 679MB.
한 달이면 약 21GB가 될 것으로 보인다.

일단은 row가 많으므로 raw 데이터 수집 테이블을 기존 1개에서 2개로 분리하였다. 

하루 432만 개 row 라는 점에서 엄청난 양이라고 생각하였으나 한 달에 약 21GB 라는 직관적인 값을 예상해보니 어떻게 대응을 해야 할 지 조금 감이 오는 것 같다.

반응형