티스토리

나를 잃지 말자

검색하기

블로그 홈

나를 잃지 말자

checkwhoiam.tistory.com/m

프리랜서를 이루는 자

구독자: 1

방명록 방문하기

728x90

주요 글 목록

[추천시스템][논문번역]Large Language Models are Zero-Shot Rankers for Recommender Systems TL;DR LLM에 프롬프트 엔지니어링으로 추천 엔진(ranker)을 얻을 수 있다. sequential prompting에 비해 recency-focused나 in-context learning 을 사용해 프롬프트를 구성하면, NDCG를 높일 수 있었다. candidate generations에 bootstrapping 기법을 사용해, candidate의 위치 편향성을 완화할 수 있었다. 사용자 행동 내역의 개수를 적게 넣으면, top-1 상품의 인기도가 줄어드는 것을 확인할 수 있었다. instruction 튜닝 모델의 NDCG가 더 높았다. 모델 파라미터 개수가 큰 모델의 NDCG가 더 높았다. 제목: Large Language Models are Zero-Shot Rankers for Recomm.. 공감수 1 댓글수 0 2023. 7. 4.
Data Quality(accuracy, completeness, reliability, relevance, timeliness) Accuracy는 데이터의 내용이 정확한 지 예를 들어 A의 계좌에 $1 million이 존재한다는 데이터의 내용이 실제와 같은가? Completeness는 필요한 데이터가 모두 존재하는 지 예를 들어 First, Middle, Last name중 Middle도 필요한 데, Middle도 존재하는 지 Reliability는 해당 데이터가 다른 소스에서 온 데이터와 일치하는 지 예를 들어 S로 온 데이터에서 A의 생년월일과 T로 온 데이터에서 A의 생년월일이 같은지 Relevance는 해당 데이터가 정말로 필요한 지 예를 들어 날씨 정보를 크롤링하는 데 정말로 이게 필요한 것인 지 Timeliness는 해당 데이터가 얼마나 최신의 것인 지 예를 들어 과거의 데이터가 현재의 것으로 렌더링 된 것인지 기본적으.. 공감수 0 댓글수 0 2020. 12. 12.
[Tensorflow][Keras]Memory leak from Multiple call fit 현상: model.fit(...)을 loop안에서 돌아 반복적으로 fit을 호출하는 상황에서 model object가 memory leak을 일으킴 해결: model.fit 이후에 gc.collect() tf.keras.backend.clear_session() 을 통해 직접 garbage collection을 수행 공감수 0 댓글수 0 2020. 11. 20.
(미완)[MachineLearning] SVM(Support Vector Machine)이란 d 공감수 0 댓글수 0 2020. 11. 14.
(미완)[Recsys] About News-domain NRS(Newspaper Recommender Systems)에서의 challenge -timeliness, 뉴스의 short duration, recency, popularity, trends and 실시간 다량 새 뉴스 유입 -long-term/short-term user preference의 급격하거나 점진적인 변화 -user의 news소비에는 일련의 sequence가 있다. -false news and propaganda 문제가 최근 uprising challenge NRS에서의 Recsys평가 -accuracy기반의 평가는 filter bubble문제를 야기함 -exposure to different viewpoint, perceived system effectiveness 등을 위해 beyon.. 공감수 0 댓글수 0 2020. 11. 10.
Bias-Variance Tradeoff 한 A(algorithm)이 주어졌을 때 expected test error를 구할 수 있다. 그 expected test error을 decomposition expected test error(given A) = Variance + Bias + Noise, 기본적으로 셋다 낮은게 좋겠지만... A:algorithm D:training set Variance는 Given A, (Over D 예측값 평균)과 (Specific D 예측값) 사이의 분산을 가리킨다.(over D) High variance ->D1에 대한 A의 예측값이 D2에 대한 A의 예측값과 큰 차이가 잦음 ->학습데이터를 달리하면 A의 예측이 크게 달라짐 Bias는 Given A, (Over D 예측값 평균)과 (x의 label 평균) .. 공감수 0 댓글수 0 2020. 11. 10.
[MachineLearning] Optimizer에 대해서 SGD(mini-batch로 gradient계산하고 그것을 즉각 반영)은 GD(학습데이터 전체로 gradient계산)보다 gradient 반영을 잦게 함으로써 수렴 속도 증가 이점이 존재 Momentum Optimization 현재 local gradient*learning_rate(η)를 weight에 적용하고 이전 weight 변화량에 friction(β)을 곱한 것을 더해주자. 즉, 현재 local gradient*learning_rate만큼 변화 주고, 예전에 가던 방향을 또 가자! ->이로써 평지를 좀 더 빠르게 탈출할 수 있다. ->friction의 존재로 local optimum에서의 진동을 막아준다. NAG(Nesterov Accelerated Gradient) 이전 weight변화량에 f.. 공감수 0 댓글수 0 2020. 11. 5.
[MachineLearning] Batch Normalization 학습하는 것: 각 node마다 4개씩 parameters가 생긴다. scaling term, shift term, mean term, std term. 이 중 scaling term과 shift term은 trainable이고, 남은 2개는 moving average로 계산한다.(non-trainable) mean term과 shift term은 training이 마친 후 prediction때 batch mean, batch std가 없으니 사용함 (mean term과 shift term은 어찌보면 trainable인데 keras에서는 trainable로 잡진 않음, 즉 backpropagation 대상이 아니기 때문임) mean term, std term이 moving average로 계산되는 방법: .. 공감수 0 댓글수 0 2020. 11. 5.
[Numpy]ndarray가 (built-in)list보다 빠른 이유 빠른 이유로는 3가지 이유가 있다. 1. numpy.ndarray는 a collection of similar data-types that are densely packed in memory. (반면, list는 different data-types을 가질 수 있고 computation하는 데에 있어서 몇가지 과정을 더 타야한다.) (이 부분은 하단의 설명을 다시 보자.) 2. numpy는 한 task를 subtask로 알아서 나눠서 parallely하게 작동하기도 한다. (예를 들면, np.dot()을 수행할 때, argument의 size가 크면 cpu core 전부를 쓰는 것을 확인할 수 있다.) 3. numpy는 C언어로 구현되어 있어서 더 빠르게 작동한다. 하늘색이 실제 저장된 값 ndarray.. 공감수 1 댓글수 0 2020. 11. 2.
(미완)[Recsys]추천 시스템 관련 article 정리(NAVER) NAVER의 추천 시스템과 연관된 내용들을 특별한 분류없이 마구잡이로 정리해보자. Termiology를 정리할 수도 있겠고 부족한 이론을 채울 수도 있겠고 단순 정보를 정리할 수도 있겠다. 해당 기업의 블로그와 개발자 컨퍼런스 블로그 등을 참고하여 작성 POI:Point Of Interest, a specific point location that someone may find useful or interesting. CONOMI:네이버 플레이스의 POI Management 기술과 AI를 활용하여 사용자가 좋은 리뷰를 편리하게 작성할 수 있도록 하고, 이를 기반으로 다양한 식당과 음식을 찾도록 도와주는 프로그램 UGC:User-generated content, 사용자가 제작한 콘텐츠 RIYO:Rank I.. 공감수 0 댓글수 0 2020. 11. 1.
[Clustering]K-means Clustering 가장 기본적인 clustering algorithm, unsupervised. k는 cluster의 개수를 나타낸다.(hyperparameter) 최적의 k개의 centroids를 찾는 것이 알고리즘의 목표 알고리즘: Assignment-step과 Update-step으로 나뉘어져있다. 각 data마다 가장 가까운 centroid을 갖는 cluster로 assign 위의 loop를 다 돌면 centroid를 해당 cluster내의 point average를 통해 update 위 2과정을 반복 후 converge하면 알고리즘 종료 특징: Optimum으로 convergence가 보장되어 있지 않다. L2 distance가 아닌 distance는 더 converge가 보장 안된다. ->data의 scatte.. 공감수 0 댓글수 0 2020. 10. 29.
[Recsys] 추천 시스템의 목적을 잊지 말자. RMSE(Root Mean Squared Error)로 Rating prediction 성능을 평가하는 것은 실제로 추천 시스템의 역량을 평가하는 것인지 다시 한번 생각해볼 필요가 있다. 우리는 Top-N recommendation을 통해 좀 더 user-focused metric을 가질 필요가 있다. 내가 사용자로서 추천 시스템이 내가 어떤 영화를 rating을 얼마나 줄 지 알아맞춰주기 보다는 내가 필요로 하는 상품이 상단에 나와주면 되는 것이다. 따라서 다양한 평가 지표 중에 RMSE에 너무 집중하지 말자. 특히, paper에서는 RMSE가지고 성능이 좋아졌니 마니 하는데, 이것에 너무 집중하지 말자는 것이다. 실제로 DB에 추천 결과를 적재할 때, 모든 유저에 모든 상품의 predicted rat.. 공감수 0 댓글수 0 2020. 10. 26.
[Recsys]추천 시스템의 큰 Flowchart Candidate Generation -> Scoring(Hybrid) -> Ranking -> Filtering Candidate Generation, 여기에서는 개별 모델들을 학습한다. Scoring, 여기에서는 개별 모델을 취합하는 Hybrid Recommendation을 설계한다. Ranking, 단순히 item을 score에 따라 sorting하기 보다는, ranking을 다시 매기는 작업을 한다. 예를 들면, 자주 등장, 인기 상품, 평점 높은 상품 등을 상단에 배치하는 로직을 적용한다. Filtering, 기 구매한 상품을 제거, 유해한 상품을 제거, score가 낮은 상품은 제거 등의 Filtering을 거친다. Filtering을 거치고 나서야 Top-"N" recommendation을 .. 공감수 1 댓글수 0 2020. 10. 26.
[Numpy]각 row에서 k개의 the largest values 뽑기 상황: a:numpy.ndarray, 2-dimensional, a의 각 row마다 k개의 top values뽑기 ex) a=np.random.randint(0,10,(4,5)) # 0에서 9까지 values중 random integers뽑아서 shape이 (4,5)인 것 k=3 res = a[np.arange(len(a))[:, None], np.argsort(a)[:, -k:]][:, ::-1] 설명: (1) np.argsort는 ascending order로 indices를 뽑아냄 (2) the smallest top k를 구하려면 np.argsort(a)[:, :k], 그리고 뒤에 [:, ::-1] 없어야함 (3) 만약 the top k largest/smallest values 를 orderin.. 공감수 1 댓글수 0 2020. 10. 25.
[Numpy]numpy.ndarray에서 각 row마다 특정 column의 원소를 가져오고 싶을 때 상황: a = np.arange(20).reshape(4,5) b = np.array([[0,1],[1,2],[2,3],[3,4]]) a의 first row에서는 [0,1]에 해당하는 entries를 a의 second row에서는 [1,2]에 해당하는 entries를 a의 third row에서는 [2,3]에 해당하는 entries를 a의 fourth row에서는 [3,4]에 해당하는 entries를 가져오고 싶다. res = a[np.arange(4)[:, None], b] 설명 (1) numpy.ndarray에 [:, None]을 하면 길이가 1인 axis를 하나 더 생성한다. 예를 들면 q = np.arange(10) # shape은 (10,) w = q[:, None] # shape은 (10,1) .. 공감수 0 댓글수 0 2020. 10. 25.
[Numpy]numpy.ndarray 각 원소에 dictionary map할 때 상황: arr는 2d numpy.ndarray dict_는 dictionary, arr의 각 원소를 변환시킬 mapping 1. res = np.vectorize(dict_.__getitem__)(arr) np.vectorize는 내부적으로는 결국 python loop방식으로 돌기 때문에 numpy의 C base speedup 이점을 얻기 힘들다. 2. u, inv = np.unique(arr, return_inverse=True) res = np.array([dict_[x] for x in u])[inv].reshape(a.shape) 이는 [inv]와 reshape에서 numpy의 speedup이점을 얻을 수가 있다. 3. 만약 dict_의 key에 arr에 특정 원소만 존재한다면? (1) arr의 .. 공감수 0 댓글수 0 2020. 10. 25.
[Pandas]중복인것만 살리기 dataframe에서 특정 column에 duplicates가 존재하면 지우는 것은 drop_duplicates를 활용한다. 중복인 것만 살리고 싶다면? 즉, 특정 column에서 한번만 등장한 것을 지우고, 다중 등장인 row만 살리고 싶다면 df = df[df."COLUMN".duplicated(keep=False)] or df = df[df.duplicated(['COLUMN'], keep=False) 를 사용하자. (후자는 multiple columns에도 활용 가능) 중복 여부 확인은 duplicated() 중복값 처리는 drop_duplicated() keep에 'first', 'last', False가 가능 'first'는 중복이 있으면 첫 등장하는 것은 True, 이후는 False 'las.. 공감수 0 댓글수 0 2020. 10. 25.
[Pandas]itertuples에 관하여 itertuples가 iterrows보다 빠르다 itertuples에 들어갈 수 있는 argument로는 -index, default는 True이고 True이면 first element에 index가 포함된다. False면 index가 포함되지 않는다. -name, default는 Pandas이며 반출하는 namedtuple의 이름을 가리킨다. 만약 name=None을 사용하면 namedtuple이 아니라 tuple을 반출한다. -column의 개수가 255 이상이면 무조건 tuple을 반출한다. 따라서 itertuples를 활용한 함수를 정의시, 입력받은 dataframe의 column개수가 255이상인지 아닌지에 따라 구분해서 작성이 필요하다. 공감수 0 댓글수 0 2020. 10. 25.
[Pandas]Iteration을 특정 index 이상에서부터 하고 싶을 때 Python built-in인 islice을 활용한다. from itertools import islice for ind, row in islice(df.itertuples(index=False), 1, None): # 2번째 row부터 iteration 시작 공감수 0 댓글수 0 2020. 10. 25.
[Recsys]Collaborative filtering 장단점 장점: -domain knowledge가 필요 없음, embedding 알아서 학습하므로 -serendipity, 즉 해당 유저의 기존 interest 밖의 상품도 추천이 가능 -No need any contextual features, just the feedback matrix, 따라서 여러 추천 엔진 중 바로 적용하기 좋다. -folding 문제를 해결(objective function에서 unobserved data에 대한 weight를 조절하여) 가능 -user/item embedding을 미리 계산해두고 저장하여 사용함으로써 Serving이 편리 -아주 많은 items가 존재하여도, user/item matrix가 대개 sparse하므로 scalability가 있음 단점: -cold-start.. 공감수 0 댓글수 0 2020. 10. 20.
contextual data, contextual features, context features Contextual data is data that gives context to a person, entity or event. It is commonly used by universities in order to determine academic potential of applicants as well as business organizations for market research and prediction. Contextual data is taken from various sources and may include family and socioeconomic background, educational history, health background, general environment and m.. 공감수 0 댓글수 0 2020. 10. 19.
[Recsys] Collaborative filtering에서 SGD vs WALS SGD(Stochastic gradient descent) WALS(Weighted alternating least squares) WALS란 어떤 방식이냐, Fixing U and solving for V Fixing V and solving for U 각 과정을 교차(alternating)하면서 objective function내에 square term을 최소화 각 과정은 linear system이므로 exactly하게 solved됨 objective function을 보면, Fixing U에선 V에 대한 convex, Fixing V에선 U에 대한 convex function이다. 다만, U와 V에 동시에 살피면 convex가 아니다. 즉 not jointly convex SGD vs WALS SG.. 공감수 0 댓글수 0 2020. 10. 19.
[Recsys]Collaborative filtering에서 SVD vs Weighted MF vs Observed only MF A(User-item matrix)에서 (entry는 feedback) Observed only MF는 오직 observed data에 대해서만 objective function에 포함 Weighted MF는 unobserved data 또한 objective function에 포함 with some weight SVD는 Observed+Unobserved, 즉 모두 포함(따라서 Frobenius norm으로 계산) Observed only MF는 loss가 낮아보이겠으나, 대다수가 0이 아닌 값으로 학습하여(특히 A가 binary 1/0라면 모두 1로 학습해버리는 경향을 띔) generalization 능력이 떨어짐 SVD는 User-item matrix가 굉장히 sparse하여 대다수가 0으로 학습하.. 공감수 0 댓글수 0 2020. 10. 19.
[Recsys]Content-based filtering의 장단점 장점: -타 유저의 데이터를 필요로 하지않아 easy to scale to a large number of users -해당 유저 고유의 interest를 capture하기 때문에, 덕후들만이 좋아할(대다수 유저들은 좋아하지 않는) 상품이 추천 가능 단점: -item embedding에 있어서 domain knowledge의 수준에 따라 모델 성능 좌우 -유저의 interest 내에서만 추천이 돌기 때문에, interest를 확장할 수는 없다. 공감수 0 댓글수 0 2020. 10. 19.
[Recsys]Which similarity measure to choose? cosine VS dot product -dot product가 cosine에 비해 sensitive to the norm of the embedding. -training set에서 자주 등장한 상품은 norm이 큰 경향이 있음 -따라서 "popularity"를 고려한다면 dot product를 쓰자. -하지만, popular items가 recommendation을 dominate한다면, s(i,j) = ||i||^α ||j||^α cos(i,j) 형태로 norm에 대한 일련의 조정을 하여 사용하자. 그리고 주의할 점, training set에 아주 적게 등장한 상품은 embedding이 update가 적게 될 것이다. 근데, 만약 initial embedding의 norm이 아주 큰 상황에서 dot.. 공감수 0 댓글수 0 2020. 10. 19.
(미완)[Recsys][metric]offline metric, Hit Rate, ARHR, P@K, AP@K, MAP@K, MAE, MSE, RMSE, NDCG, COVERAGE 추천 시스템 모델을 개발하고 나면, offline metric을 통해 먼저 성능을 가늠해본다. 여기서는 각 offline metric의 정의와 장점, 단점, 단점보완법 등을 알아보자. 상황: tester는 주어진 기간에 구매한 상품set이 존재하고 B = set(bitem_1, bitem_2, ..., bitem_N]) recommendation engine은 각 tester마다 추천 상품 list가 존재 R = [ritem_1, r_item2, ..., ritem_K] Hit rate -유저마다 Top-k recommendation에서 hit한게 존재하면 hit += 1 -#hit/#user -고객의 내역 중 time-axis가 존재한다면 -train/test를 특정 time으로 나눠 계산 가능 -혹은.. 공감수 2 댓글수 0 2020. 10. 8.
(미완)Python 3.9의 주요 특징 1. dictionary merge/update a, b : dictionary c = a|b # merge a with b, right always win if key conflicts, a,b 모두 합치되 common key에 대한 value는 b에 것 사용 a |= b # update a, a와 b모두에 있는 key는 b에서의 value로 update, a에만 있는 key는 그대로 유지 2. remove prefix/suffix of strings a : string a.removeprefix(prefix) # a가 입력한 prefix로 시작한다면 그것을 slicing으로 제외한 결과를 return a.removesuffix(suffix) # a가 입력한 suffix로 끝나면 그것을 slixing으.. 공감수 0 댓글수 0 2020. 10. 6.
Streaming or stateful metric Streaming metric(or stateful metric)이란, (예를 들어 precision) First batch때 (True positive, False positive) = (4, 5) -> Precision = (4) / (5) = 0.8 Second batch때 (True positive, False positive) = (0, 3) -> Precision = (4+0) / (5+3) = 0.5 ... 방식으로 batch때마다 metric의 평균이 아니라 batch때마다 각 amount들을 누적해서 계산하는 방식의 metric을 가리킨다. 공감수 0 댓글수 0 2020. 10. 6.
(미완)[Recsys][Paper]Deep Generative Ranking for Personalized Recommendation Paper: https://dl.acm.org/doi/pdf/10.1145/3298689.3347012 Remarks: -click|like|purchase 등의 활동으로 User-Item binary matrix 생성 (혹은 특정 threshold지정하고 그 값 이상은 1 아니면 0으로 binarize하기) - Remarks: -논문에서 제시하는 모델을 살펴보면 -X는 User-item binary matrix(user가 item을 클릭했다면 1, 아니면 0, 혹은 rating matrix로부터 threshold이상이면 1, 아니면 0으로 binarize해서 사용 가능) - 논문내용 쭉 정리 논문에서 말하는 장점(특히 missing value에 대한 얘기 등)위주로정리 공감수 0 댓글수 0 2020. 10. 4.
(미완)[Recsys][Metric]Offline metrics NDCG MAPK 등 정의와 예시 해석시 주의할점, 단점, 단점보강방법 등 공감수 0 댓글수 0 2020. 10. 4.

728x90

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.