gbmin's Tech Notes

서버 구축 및 유지보수, 클라우드 컴퓨팅, 네트워크 보안, IT 분야 기술 노트. :)

Tech Notes/Mail Server

메일 서버 기본 구조와 개념: 메일 시스템 운영을 위한 지침

gbmin 2023. 8. 6. 19:54

메일 시스템은 인터넷이 등장하면서 초기부터 꾸준하게 사용되어 오는 시스템이며 현재 까지도 활발하게 사용된다. 여러 가지 구조적 문제와 취약점들도 꾸준히 발견되고 있으나, 인터넷 비즈니스에서 메일 서비스의 비중이 상당하기 때문에 앞으로도 계속 사용될 가능성이 매우 높다. 메일 서버 운영자나 인프라 관리자들은 메일 시스템이 어떤 방식으로 동작하는지 이해가 필요하며 이를 통해 시스템 운영과, 보안 관리를 깊이 있게 할 수 있을 것이다.


[목차]

1. 메일 서버 개념과 기본 구조

1.1. 메일 서버의 주요 구성 요소

1.2. IMAP/POP3 (Internet Message Access protocol / Post Office Protocol)

1.3 메일 전송 프로세스

2. 메일 서버의 악용 사례와 보안 방법

2.1. 악용 사례

2.2. 보안 사항

3. 메일 서버의 관리 및 유지 보수


 

1. 메일 서버 개념과 기본 구조

1.1 메일 서버의 정의

메일 서버는 이메일 메시지를 보내고 받는 컴퓨터 시스템이다. 사용자 간의 통신을 가능하게 하며, 전 세계 어디서나 정보를 공유할 수 있게 해 준다.

 

메일 서버의 주요 구성 요소

  • SMTP (Simple Mail Transfer Protocol): 이메일을 보내는 데 사용되는 프로토콜로, 메시지를 메일 서버에서 다른 메일 서버로 전송한다.
  • IMAP/POP3 (Internet Message Access protocol / Post Office Protocol) : 이메일을 받는 데 사용되는 프로토콜로, 메일 서버에서 클라이언트로 메시지를 전송한다.

 

 

메일 전송 프로세스

메일 전송 프로세스는 복잡한 여러 단계로 구성되어 있으며, 이를 이해하는 것은 메일 서버 운영의 핵심이다.

 

 

출처:mailtrap.io

메일 전송 과정
  • 메일 작성 및 전송: 사용자는 메일 클라이언트를 사용하여 이메일을 작성하고 보낸다. 이메일은 SMTP 프로토콜을 사용하여 메일 서버로 전송한다.
  • 메일 라우팅과 전달: 메일 서버는 DNS를 통해 수신자의 메일 서버 주소를 확인하고, 메시지를 해당 서버로 라우팅 한다. 이 과정은 구성된 서버 환경에 따라 여러 메일 서버를 거칠 수 있으며, 각 서버는 메시지를 다음 목적지로 전달한다.
  • 메일 수신 및 저장: 수신자의 메일 서버는 메시지를 받아 사용자의 메일박스에 저장한다. 이 과정에서 수신 프로토콜인 IMAP 또는 POP3 가 사용될 수 있다.
  • 메일 읽기 및 관리: 수신자는 메일 클라이언트를 통해 저장된 메시지를 읽을 수 있으며, 필요에 따라 메시지를 관리할 수 있다.

 

 

2. 메일 서버의 악용 사례와 보안 방법

메일 시스템자체 만으로 그 프로세스 안에서 여러 가지 보안 위협에 노출되어 있으며 이를 방지하기 위해 여러 가지 보안 기술이 나타나고 적용되어오고 있다. 사례별 대응 방법에 대한 몆 가지 예시를 들어보면 아래와 같으며 적용 방법은 메일 시스템에 따라 환경에 맞게 구성되어야 한다.

 

2.1 악용 사례

  • 스팸: 스팸은 원치 않는 광고나 정보를 대량으로 전송하는 행위입니다. 메일 서버가 악용되면, 스팸 메일을 대량으로 발송하는 데 사용될 수 있으며, 이로 인해 서버의 성능 저하와 리소스 낭비가 발생할 수 있다.
  • 사용자 인증정보 탈취: 악의적인 공격자가 메일 서버의 보안 취약점을 이용하여 사용자의 로그인 정보를 탈취할 수 있다. 이 정보는 다른 사이트에서의 공격이나 개인정보 유출에 이용될 수 있다.
  • 피싱: 피싱은 사용자로 하여금 가짜 웹사이트에 접속하게 만들어, 개인정보나 금융정보를 탈취하는 공격이다. 메일 서버를 통해 가짜 웹사이트로 유도하는 이메일을 대량으로 발송하기도 하며, 특정 기업이나 기관을 타겟팅 하여 공격하는 정교한 방식의 스피어 피싱 또한 많이 발생된다.
  • 시스템 자원 고갈을 위한 공격: 메일 서버를 악용하여 대량의 메일을 발송하면, 서버의 자원이 고갈되어 정상적인 서비스 제공이 어려워질 수 있다. 이는 서비스 거부 공격(DoS)의 일종으로 볼 수 있다.
  • 사용자 메일함 공격: 사용자의 PC 나 메일함을 직접 공격하여, 중요한 개인정보나 기밀문서를 탈취하거나, 악성 코드를 심어 다른 시스템을 감염시킬 수 있다.
  • 메일 릴레이 악용: 메일 서버의 릴레이 기능을 악용하여, 스팸이나 악성 코드를 포함한 메일을 타인의 명의로 발송할 수 있다. 이로 인해 해당 도메인의 신뢰도가 하락하거나, 다른 서버로부터 차단당할 수 있다.
  • 대량 메일 공격: 특정 이메일 주소로 대량의 메일을 발송하여, 메일함을 과부하 상태로 만드는 공격이다. 이로 인해 정상적인 메일 수신이 어려워지거나, 시스템 전체에 장애가 발생할 수 있다.
  • 내부 네트워크 침투: 메일 서버의 취약점을 이용하여 내부 네트워크에 침투하는 경우도 있다. 이를 통해 기업의 중요 데이터를 탈취하거나, 내부 시스템을 공격할 수 있다.
  • 악성 첨부파일 전송: 메일 서버를 통해 악성 코드가 포함된 첨부파일을 전송하면, 수신자의 컴퓨터를 감염시키거나, 추가적인 공격을 수행할 수 있다.

 

2.2. 보안 사항

  • 주소 검증: 메일을 보내기 전에 수신자 주소의 유효성을 검사하여, 존재하지 않는 주소나 오타가 있는 주소로의 메일 발송을 방지한다.
  • 발신 제한 설정: 사용자나 애플리케이션 별로 일정 시간 동안 보낼 수 있는 메일의 수를 제한하여, 대량 리턴 메일의 서버 부담을 줄인다.
  • 스팸 필터링: 악의적인 발신자로부터 오는 메일을 차단하며, 대량 리턴 메일을 유발할 수 있는 스팸 메일을 사전에 차단한다.
  • 발신자 정책 프레임워크(SPF) 설정: 메일을 보내는 도메인의 진위를 검증하고, 위조된 발신 주소로부터 오는 메일을 차단한다.
  • 도메인 기반 메시지 인증, 보고 및 수용(DMARC) 적용: SPF와 DKIM을 활용하여 이메일의 진위를 검증하고, 제삼자가 도메인을 위장하여 메일을 보내는 것을 방지한다.
  • 메일 릴레이 제한: 제삼자로부터의 메일 중계를 제한하거나 허용된 IP 주소나 인증된 사용자만 중계를 허용하여, 대량 메일 발송을 방지한다.
  • 인바운드 및 아웃바운드 필터링: 들어오는 메일과 나가는 메일에 대한 필터링을 통해, 의심스러운 패턴이나 악의적인 내용을 감지하고 차단한다.
  • 사용자 교육 및 인증 강화: 올바른 메일 사용 방법을 교육하고, 강력한 인증 절차를 적용하여, 실수나 제삼자의 악용을 방지한다.
  • 잘못된 주소 응답 방지: 잘못된 주소로 보낸 메일에 대한 자동 응답을 방지하여, 존재하지 않는 주소로의 메일에는 자동 응답을 보내지 않도록 설정한다.
  • 로그 분석 및 지속적인 모니터링: 메일 서버의 로그를 분석하고 모니터링하여, 비정상적인 트래픽이나 대량 리턴 메일을 조기에 감지하고 대응한다.
  • 법적 대응: 악의적인 목적으로 대량 리턴 메일을 발송하는 경우, 법적 조치를 취하고 필요한 증거를 확보한다.

 

 

3. 메일 서버의 관리 및 유지 보수

서버의 관리와 유지 보수는 메일 서버만 특화된 내용은 아니지만 서비스 환경에 맞는 유지보수를 위한 전략적인 방법을 설정해두어야 한다. 정기적인 백업과 효과적인 복구 전략과 정책을 만들고 데이터 손실을 방지하고, 장애, 재난 시 빠른 복구를 할 수 있도록 대비해야 한다. 또한 메일 서버의 성능을 지속적으로 모니터링하고 최적화하는 것은 서비스의 품질을 유지하고, 사용자에게 질 좋은 서비스 환경을 제공하는데 매우 중요하다. 또한 메일 시스템의 주기적인 취약점 점검을 통해 최신 업데이트와 패치를 적용해야 하며 최신의 보안과 성능을 유지하며, 잠재적인 문제를 미리 해결해 두는 게 좋다.


요즘은 과거와 달리 개인이나 기업이 직접 메일 서버를 운영하는 대신 클라우드 서비스나, 웹메일 등을 제공하는 플랫폼 서비스를 이용하는 추세이다. 최신 이슈 되고 있는 AI를 활용한 복잡한 스팸 필터나 이상 신호등을 조기에 탐지할 수 있게 되고, 전문 지식과 기술을 활용하여 보안과 성능을 더욱 강화한다면 메일 서비스의 경쟁력을 갖출 수 있을 것이다.