수다닷컴

질문 제목 : 통계 분석 시스템을 위한 멀티 코어 프로세싱1)분석 대상 access_log = 분석 대상은 총 12개 필드 교차 분석
2) 섹션당 분석 건수 5천만건 이상 = 메모리 로드시 약 4gbytes 용량 차지
3) 총 40개 섹션 분석
4) 12core, 32gbytes 분석 시스템 이용시 최적화된 구성은?

질문 내용 :
안녕하세요

위에 요약정리도 했지만
현재 분석 시스템이 순차적으로 이루어지며, 한번에 1개의 core만 사용하여 시간도 오래 걸리고, 에러 발생시 처음부터 다시 돌려야 하는 악순환에 빠져 이를 개선코자 설계중에 있습니다.

한번에 4gbytes정도 용량을 차지하고, 이를 동시에 멀티코어를 이용하여 분석하여 분석시간을 단축 시키려고 하고 있습니다.
즉, 아래와 같은 구성을 하고자 합니다.

1번 프로세스1core, 4gbytes = 섹션 1 메모리 로드
- 1번 쓰레드 : 남자, 여자 분석
- 2번 쓰레드 : 연령대별 분석
- 3번 쓰레드 : 지역 분포 분석
- 4번 쓰레드 : 남자이면서 연령대 분석
....
2번 프로세스 1core, 4gbytes = 섹션 2분석
- 1번 쓰레드 : 남자, 여자 분석
- 2번 쓰레드 : 연령대별 분석
- 3번 쓰레드 : 지역 분포 분석
- 4번 쓰레드 : 남자이면서 연령대 분석
....
.
.
총 한번에 5~6개의 프로세스를 띄워 관리해주며 순차적으로 매 시간마다 분석(다차원 교차 분석)을 시키려는데 프로그램 설계를 어떤 방향으로 가져가야 할까요?

c와 bdb 또는 다른 메모리 db를 이용할 생각입니다.
더 좋은 방안이 있을까요? 멀티프로세스는 첨이라 위와 같이 구성하는것이 맞는건지도 모르겠네요..^^;

그리고 참고 할만한 책 있으면 추천 부탁드립니다.

신청하기