멀티 코어를 이용한 분석
귀1여운렩
질문 제목 : 통계 분석 시스템을 위한 멀티 코어 프로세싱1)분석 대상 access_log = 분석 대상은 총 12개 필드 교차 분석
2) 섹션당 분석 건수 5천만건 이상 = 메모리 로드시 약 4gbytes 용량 차지
3) 총 40개 섹션 분석
4) 12core, 32gbytes 분석 시스템 이용시 최적화된 구성은?
질문 내용 :
안녕하세요
위에 요약정리도 했지만
현재 분석 시스템이 순차적으로 이루어지며, 한번에 1개의 core만 사용하여 시간도 오래 걸리고, 에러 발생시 처음부터 다시 돌려야 하는 악순환에 빠져 이를 개선코자 설계중에 있습니다.
한번에 4gbytes정도 용량을 차지하고, 이를 동시에 멀티코어를 이용하여 분석하여 분석시간을 단축 시키려고 하고 있습니다.
즉, 아래와 같은 구성을 하고자 합니다.
1번 프로세스1core, 4gbytes = 섹션 1 메모리 로드
- 1번 쓰레드 : 남자, 여자 분석
- 2번 쓰레드 : 연령대별 분석
- 3번 쓰레드 : 지역 분포 분석
- 4번 쓰레드 : 남자이면서 연령대 분석
....
2번 프로세스 1core, 4gbytes = 섹션 2분석
- 1번 쓰레드 : 남자, 여자 분석
- 2번 쓰레드 : 연령대별 분석
- 3번 쓰레드 : 지역 분포 분석
- 4번 쓰레드 : 남자이면서 연령대 분석
....
.
.
총 한번에 5~6개의 프로세스를 띄워 관리해주며 순차적으로 매 시간마다 분석(다차원 교차 분석)을 시키려는데 프로그램 설계를 어떤 방향으로 가져가야 할까요?
c와 bdb 또는 다른 메모리 db를 이용할 생각입니다.
더 좋은 방안이 있을까요? 멀티프로세스는 첨이라 위와 같이 구성하는것이 맞는건지도 모르겠네요..^^;
그리고 참고 할만한 책 있으면 추천 부탁드립니다.
번호 | 제 목 | 글쓴이 | 날짜 |
---|---|---|---|
2655547 | 변수선언과 printf만 사용해서 수식 짜기 (1) | 피리 | 2024-05-20 |
2655523 | 문자열 사이에 문자열삽입 | 바람 | 2024-05-20 |
2655491 | 키보드 인식, 랜덤 함수 or 헤더 (2) | 별 | 2024-05-20 |
2655471 | 링 버퍼 구현된 소스 인데요.. 이해가 잘안되서요.. | 소심한녀자 | 2024-05-20 |
2655440 | test파일이 안 되요. (2) | 리라 | 2024-05-19 |
2655416 | 고수님들 도움이 절실합니다. (2) | 세리 | 2024-05-19 |
2655361 | 엔터 입력받을때까지 기다리는 getchar (1) | 큰모음 | 2024-05-19 |
2655328 | 함수에서 포인터 (3) | 모아 | 2024-05-18 |
2655299 | 아이콘바꾸는법..? | 소 | 2024-05-18 |
2655271 | scanf 입력받으면 쭉 실행되는.. (5) | ComeOn | 2024-05-18 |
2655184 | 이 세개 프로그램좀 해결해주실.... 고수님들???? (3) | 말달리자 | 2024-05-17 |
2655129 | 다차원 배열 원소들 주소계산하는거 질문이요~ | 터전 | 2024-05-17 |
2655103 | AVRstudio MoveAxis. MoveLine 함수질문 | 앨버트 | 2024-05-16 |
2655072 | 콘솔창의 위치와 크기를 정하고 싶습니다. | 딥레드 | 2024-05-16 |
2655044 | 자료구조랑 online judge site에 대해서 질문있습니다... (1) | 뽀송뽀송 | 2024-05-16 |
2655016 | 별찍기 문제 중 이해안되는 부분이 있어요... | 도전중 | 2024-05-16 |
2654986 | 입력받은 성적을 배열에 저장하기 (3) | 안녕나야 | 2024-05-15 |
2654959 | ===========-이런거 미리 지정하는법 (1) | 김자영 | 2024-05-15 |
2654930 | 도와주십시요 ㅜㅜ 자료구조 ㅜㅜ | 도널드 | 2024-05-15 |
2654881 | PID 모듈 검색 부분 질문합니다 . | 이름없음 | 2024-05-14 |