알고리즘에 대해 조금 심화해서 얘기해 볼까요?
일단 고려할부분은 3부분입니다. (크롤링, 조건검색, 메시지발송)
이건 기본적으로 로직 분리하셔서 별도 스레드로 돌려야 합니다.
1. 크롤링
- 뭐 이건 여러 크롤링 기법들이 있으니 딱히 말할게 없겠네요. 게시판이 여러개고 자주 새글이 올라온다면, 크롤링의 분산처리를 고려해볼 순 있겠습니다. 일단 기본적으로는 크롤링은 한게시물당 한번만 한다고 생각하세요. 네트워크는 매우 느린 자원이니, 여기서 보틀넥 안잡히게 해야합니다. 또한 그렇다고 마냥 속도를 볼건 아닌게, 크롤링 대상 사이드들도 너무 많은 트래픽은 자체적으로 감시할테니 적당히 조절해야 하고, 그럴러면 무조건 크롤링은 한번해서 최대한 돌려써야 합니다.
2. 조건검색
- 이건 기본적으로 분산처리 해야합니다. 아마도 키워드 검색이지 않을까 싶은데요. 아예 크롤링 하면서 형태소 분리작업을 통해서 크롤링하면서 바로 키워드 분리 시켜놓게 되면, 조건검색시 equal 검색을 하게 됩니다. 이경우 속도가 많이 올라갈겁니다. 그렇지 않으면 like 검색이란 얘긴데 이게 우려하는 사용자가 늘면서, 검색어가 많으면서, 게시물이 커지면서 기하급수로 리소스를 소비하는 주범이됩니다. 업무의 특수성으로 꼭 like 검색이 들어가야 하다면 DB사용은 적합하지 않습니다. 여기에 적합한 별도의 검색 솔루션을 도입하여야 합니다. (ex : 아파치 솔라)
그리고 속도를 잡기위해서는 메모리에 올려놓고 검색하셔야 하구요.
이렇게 조건검색을 한뒤에 해당 조건이 만족되면 조건을 등록한 사용자에게 메시지를 뿌려주면 됩니다.
(정확히는 메시지 큐에 등록하는 겁니다. 사용자id + 게시물id 로 유니크 하게 등록해야 합니다. 실제 발송은 로직3에서 합니다.)
3. 메시지 발송
- 메시지발송큐를 주기적으로 스캔하여 발송 대상이 있으면 발송해줍니다.
이걸 로직 분리해야 하는 이유는 크게 2가지 인데, 개발하는데 있어서 제일 느린부분에 의해서 (여기서는 메시지 발송, 메시지 발송같은 경우 타 시스템과 연계가 되어야 하니 이런데는 무조건 병목이 있습니다.) 보틀넥이 발생하는걸 최소하 하기위해 버퍼를 가져가야 하기 때문이며(메시지큐), 또한 중복제거 로직이 들어가야 하는데 (가령 1개의 게시물에 사용자가 등록한 키워드 2개가 모두 해당되면 메시지가 2번 나가지 않기위해) 중복제거 로직은 일단 등록되고 나서 제거하려면 필연적으로 소팅작업이 들어가야 하며 이게 리소스 소비가 심각합니다. 따라서 위에 2번에서도 잠깐 언급했듯 큐 등록단계에서 유니크한 속성으로 중복등록이 되지 않게 해줘야 합니다.
여기는 굳이 분산처리할 필요까진없고 독립 스레드로 돌면 됩니다.

와.. 2번 완전 감사합니다. 그 생각은 못했네요.
많은 도움됐습니다.
차후에 진행하면서 형태소 분리 후 저장을 어떻게 해둘것인가를 조금 더 고민해보면 좋겠네요.
전 서버 개발경험은 없어서 걱정이 앞섰는데 도움주셔서 정말 감사합니다. 봄-봄님.
그런 인사이트는 개발하면서 느는거겠지만 추천해주실만한 자료나 사이트나 책 있으실까요?

딱히 자료나 사이트는 모르겠구요.
저도 규모좀 있는 프로젝트에서 분업해서 한거라, 자기분야만 처리했지 전체를 다 한건 아니라서요.
뭐 질문하신 메시지발송은 아니고, 대용량 검색 서비스 개발 한거였는데 비슷한 부분이 있어서 설명드렸어요.
참고로 당시에 검색엔진은 솔라에 한글 형태소 분석기가 적용된 환경에 메모리 캐시 db로 카우치베이스 사용했습니다.
AWS ec2 로 구축하였고, 분산처리는 수시로 서버 인스턴스를 줄이고 늘려 가면서 처리했습니다.