본문 바로가기
728x90

토크나이징2

59. 검색 프로세스 이해 및 구현 실습 철수라고 검색을 하면 철수만 가져오도록 한다 검색은 데이터베이스에서 한다 문장 검색 = 풀텍스트 검색 테이블 풀스캔 = 풀 테이블 스캔 역인덱스 = 역색인 = inverted index Elasticsearch 토크나이징 시간이 오래걸린다 = 디스크 I/O = 성능이 느리다 메모리기반 DB - Redis 브라우저에서 점심을 검색해서 백엔드로 가서 Redis에서 찾고 있으면 다시 백엔드로 가서 브라우저로 온다 Redis에 없으면 Elasticsearch가서 찾고 브라우저로 가는게 아닌 다음을 위해서 Redis에 저장을 한다 임시캐싱 cache aside pattern 이렇게 알아야 백엔드와 커뮤니케이션이 좋아진다 검색 기능 구현 2023. 2. 21.
검색 프로세스, 검색어 결과 표시, 디바운싱 쓰로틀링 7/30 오늘 수업은 검색 프로세스와 관련하여 배웠다. 1. 백엔드의 검색 시스템 구조에 대해서 배웠다. 가장 기본적으로 1)테이블을 풀 스캔하는 방식으로 전체 테이블 로우를 조회하는 방법이 있다. 초기에 빠르게 만들기 위한 방법으로 사용되고, 서비스가 커짐에 따라 이러한 방식은 잘 사용되지 않는다. 이 방법을 개선하기 위해 데이터베이스에 저장할 때, 문장을 키워드 단위로 2)토크나이징하고, 2)역인덱스(inverted index)를 만들어서 저장한다. 이를 쉽게 해주는 데이터베이스 프로그램이 2)엘라스틱서치(ES) 서비스가 더 커지게 되면, 수많은 사람들이 검색하는 데이터는 어느정도의 틀에서 크게 벗어나지 않는다. 따라서, 3)검색어와 매칭되는 검색결과를 메모리에 저장(이를 (검색로그를) 캐싱한다고 한.. 2021. 10. 22.
728x90