db 접속이 많은 프로그램 작성시 mysql 의 성능의 문제

1번과 2번 상황을 다 수용하는 방법은 connection poling을 사용하면 가능한데 mysql은 보지 못했습니다. jdbc나 ms의 ADO에서는 지원합니다.
위의 내용을 보시면 감이 오실껍니다

persistent connection 과 connection pool은 다른 개념입니다.
시스템 전체에서 컨넥션을 pool에 넣고 공유 하는 것이 아니라
하나의 아파치 프로세스 내에서만 연결이 지속되고 사용됩니다.
---
만약에, 바쁜 웹서버라면 httpd가 백여개 이상씩 실행 될턴데
이렇게 되면 pconnect로 처리하게 되면 백여개의 컨넥션이
생기게 됩니다. 컨넥션 풀로 구현을 하게 되면 프로세스 갯수만큼
생기지는 않습니다.

http://www.firstworks.com/
sqlrelay 를 이용하면 가능합니다 :D

1번과 2번 상황을 다 수용하는 방법은 connection poling을 사용하면 가능한데 mysql은 보지 못했습니다. jdbc나 ms의 ADO에서는 지원합니다.

db 엑세스가 많은 프로그램입니다. 파일 시스템만 제외하고 모든 것을 db 엑세스로 데이타를 가져옵니다.

이런 프로그램을 구현시

  A
        mysql_init(&mysql); /* mysql 초기화 */

        if(!mysql_real_connect (&mysql,NULL,"test","test","testdb",0,(char *)NULL,0))
        {
                printf("mysql_real_connect ==>%s\n",mysql_error(&mysql));
                                exit(0);
        }

  B
       실질적인 query 실행

 C
        mysql_close(&mysql);

방법 1
A B C A B C A B C
하나의 쿼리문을 실행할 때마다 A,C 를 수행 하는 방법

방법 2
A B B B B B B C
A 로 디비를 연결하고 B 의 쿼리문을 계속 실행하다가 더이상 사용 할 필요가 없는 경우 C 로 MYSQL 을 닫는 방법

질문

DB 엑세스가 평균 초당 100번은 일어난다면 어떤 방법으로 프로그램을 구현하는 것이 좋은 방법일련지요....
제 생각에는 "방법 2 " 가 리소스 면에서는 덜 부하가 날 것 같습니다.
그런데 방법 2는 한번 MYSQL 를 실행하고 DB 에 연결하면 그 세션이 닫기전까지는 열려있지 않나요? 그래서 문제가 발생하는 점이 있을 수 있지 않을 까 합니다.

방법 1은 매번 MYSQL 을 초기화 하고 DB 연결하고 닫는 작업이 일어나 프로그램 성능상의 문제점이 있을 것 같은데....

이 두 방법 중에 어떤 방법이 좋은 방법인지 추천해주시고 이유를 말씀해 주시면 감사하겟습니다..

가 나은 방법인 것 같지만 확실히 그런지는 테스트를 해 봐야 알겠지요. 너무 뻔한 얘기인가요:)
동시 접속수가 얼마이고 서버가 얼마를 감당할 수 있는 지가 핵심이 아닐까요.
mysql은 다른 DB와 달리 아주 빠르기 때문에 connection pool과 같은 테크
닉으로 성능을 향상시키기는 어려울 것입니다. 단지 pool이 그러하듯 감당할
만큼 connection을 조절해서(적절한 benchmarking을 통해) 리소스를 관리할 수는 있겠지요.

jinoos wrote:

choissi wrote:

1번과 2번 상황을 다 수용하는 방법은 connection poling을 사용하면 가능한데 mysql은 보지 못했습니다. jdbc나 ms의 ADO에서는 지원합니다.

jdbc 같은 connection pooling은 database에서 제공하는것이 아니고
language module단에서 지원하는것입니다. 오라클이라고 오라클자체가
컨넥션 풀을 제공하는것이 아닌것처럼 jdbc, ADO 드라이버가 가지고 있는
기능일 뿐입니다

그리고 윗분예처럼 mysql을 가지고 connection pooling을 제공하는 미들
웨어(?)는 존재 하죠. :D

저는 db가 connection pooling을 지원한다는 말은 한적이 없습니다.
db접속을 담당하는 모듈 즉 jdbc, ADO같은 녀석들이 지원한고 했을 뿐입니다.

그리고 db가 제공하는 경우도 있습니다.
오라클의 경우를 예를 들어 보면 Shared Server Architecture
가 아닐지요..

"mysql은 보지 못했습니다" 이 말은 질문하신 분의 환경을 고려해서( php)
어느정도 기능이 잘 구현된 형태의 풀매니져를 본적이 없다는 것이지 없다고 단정을 하지는 않았습니다. 다른 댓글을 달아 주신 분이 sqlrelay란 것을 알려주셔서 저도 얻고 가는 기분이 드는 군요.

choissi wrote:

kyong wrote:

가 나은 방법인 것 같지만 확실히 그런지는 테스트를 해 봐야 알겠지요. 너무 뻔한 얘기인가요:)
동시 접속수가 얼마이고 서버가 얼마를 감당할 수 있는 지가 핵심이 아닐까요.
mysql은 다른 DB와 달리 아주 빠르기 때문에 connection pool과 같은 테크
닉으로 성능을 향상시키기는 어려울 것입니다. 단지 pool이 그러하듯 감당할
만큼 connection을 조절해서(적절한 benchmarking을 통해) 리소스를 관리할 수는 있겠지요.

위의 조건이 통하지 않는 상황을 말씀 드리지요.
아파치 1.3.* 기준일때

어느정도 이미지를 포함한 페이지를 로딩하게 되면
인터넷 익스플로러는 2~3개의 컨넥션을 만들어서 keep alive옵션을
(keep alive를 사용하지 않으면 tcp/ip 접속 오버헤드와
소켓 자원이 금방 고갈됩니다. time_wait 대량발생)
사용해 가면서 페이지를 다운로드 받습니다.

그러면 서버 입장에서는 httpd 데몬이 2~3개가 사용되겠지요.
그중에 하나는 php처럼 db연결을 사용할 것입니다.
이때 pconnect를 사용하면 세개의 데몬중에 하나에 연결을 맺을 껍니다.

이런 식으로 유저가 급격히 접근하다보면, 아파치는 이네 200~300개씩이 뜨게 되는데 랜덤하게 httpd 데몬들이 pconnect로 mysql과 접속을 하게 됩니다. 그러면 mysql은 db처리 본연의 입무 보다는 컨넥션 관리, thread 스위칭으로 정신이 없게 됩니다.

그래서 저희가 서비스를 운영 할때는 별도로 db접속을 하지 않는
이미지만 내려주는 이미지 서버를 만들어 그쪽으로 돌려주고
실제 서비스 하는 서버들은 pconnect로해서 꼭 필요한 httpd데몬수만으로
운영을 했습니다.

하지만 connection pool이 지원이 되는 ms환경에서는
이럴 필요가 없죠. 어짜피 풀에서 가져다 쓰니까요..

-------------------------------------

이상은 connect수가 증가해서 생기는 문제일때의 이야기고
db성능에 관한 것은.. 결국 효과적인 쿼리작성이 아닐까 합니다.
(워낙 사용자가 몰리는 곳은 아에 db를 안 쓸 마음을 찍어 내기도 하고요)

서버가 감당할 수 없는 경우로 사료됩니다.
apache의 idle process가 connection을 갖고 있어서 그렇다는 얘기
같은데요, apache의 max client를 줄이고 mysql의 max connection을
늘이고 wait_timeout을 줄이는 등 내 서버에 맞게 적절히 사용하셔야 할 것
으로 생각됩니다.
그래서 제가 하고 싶은 얘기는 mysql 같은 db에서는 connection pool을 쓰지
않고서 해결할 수 없는 문제는 connection pool을 쓰더라고 해결이 잘 안 될
것이란 말입니다.(jdbc 같은 경우엔 jdbc driver 자체의 overhead를 생각해야
겠지요)