土耳其語客戶訊息如何建立可評估的情緒分析流程:標籤、金標集與 LLM 結構化輸出
Türkçe müşteri mesajlarında duygu analizi: Etiket şeması, altın set, LLM ile yapılandırılmış çıktı ve ölçüm
Koray Yalçın介紹一套面向土耳其語客戶訊息的情緒分析流程,涵蓋標籤架構、雙人標註的金標集、個人資料遮蔽、經驗證的 LLM 結構化輸出,以及按版本重複測試。
Duygu analizi (sentiment analysis) demoda hep kolay görünür. Bir API'ye "Bu mesaj olumlu mu olumsuz mu?" diye sorarsınız, cevap gelir, ekrana renkli bir rozet koyarsınız. Sorun, bu rozetin bir CRM'de karar tetiklemeye başladığı gün çıkar: olumsuz işaretlenen lead'e yönetici araması atanır, olumlu işaretlenen lead "sıcak" sayılır, raporlarda "müşteri memnuniyeti" diye bir çizgi belirir. O noktada kimse modelin ne kadar sık yanıldığını bilmiyorsa, sistem aslında rastgele sayı üretiyor olabilir.
Ben Koray Yalçın; gayrimenkul ve proje satışında lead yönetimi, CRM ve yapay zekâ otomasyonları üzerine çalışıyorum. Bu yazıda duygu analizini bir "özellik" olarak değil, ölçülen bir veri ürünü olarak kurmayı anlatacağım: etiket şemasını yazmak, Türkçeye özgü tuzakları baştan kabul etmek, küçük ama güvenilir bir altın set (golden set) oluşturmak, LLM'den serbest metin yerine doğrulanan yapılandırılmış çıktı almak ve her sürümü aynı test üzerinde ölçmek. Örnekler Python; fikirler dil bağımsız.
1. Önce soruyu daraltın: "Duygu" neyin vekili?
"Müşteri mutlu mu?" çok geniş bir soru. Bir satış ekibinin gerçekten ihtiyaç duyduğu şey genelde şunlardan biridir:
- Bu mesaj acil bir insan müdahalesi gerektiriyor mu? (şikâyet, hayal kırıklığı, tehdit, iptal niyeti)
- Bu konuşmada ilgi artıyor mu, azalıyor mu?
- Olumsuzluk neye yönelik: fiyata mı, danışmana mı, teslim tarihine mi, ödeme planına mı?
Bu ayrım önemli; çünkü "olumsuz" etiketi tek başına eyleme dönüşmez. "Fiyat çok yüksek, ama 2+1'in kat planını yine de atar mısınız?" mesajı tonu olumsuz ama ilgisi yüksek bir mesajdır. Tek eksenli bir skor bunu ya "olumsuz" ya "nötr" diye ezip geçer. Bu yüzden ben en az iki ekseni ayırmayı öneriyorum: ton (olumlu / nötr / olumsuz / karışık) ve eylem gerekliliği (yok / takip / acil). Konu (aspect) etiketini üçüncü eksen olarak eklemek, raporlamada en çok değeri üreten adımdır.
2. Etiket şemasını kod gibi sürümleyin
Etiketler bir kez yazılıp unutulursa altı ay sonra "olumsuz" kelimesi farklı kişiler için farklı şeyler ifade eder. Şemayı repoda tutun, her değişiklikte sürüm numarasını artırın ve her etikete bir tanım ile sınır örneği yazın.
# sentiment_schema.py
from enum import Enum
SCHEMA_VERSION = "2026.11-v3"
class Tone(str, Enum):
POSITIVE = "positive"
NEUTRAL = "neutral"
NEGATIVE = "negative"
MIXED = "mixed" # aynı mesajda belirgin olumlu + olumsuz
class Action(str, Enum):
NONE = "none"
FOLLOW_UP = "follow_up"
URGENT = "urgent" # şikâyet, iptal niyeti, hukuki ima, sert dil
class Aspect(str, Enum):
PRICE = "price"
PAYMENT_PLAN = "payment_plan"
DELIVERY_DATE = "delivery_date"
AGENT = "agent" # danışman / ekip davranışı
UNIT = "unit" # daire, kat planı, manzara
LOCATION = "location"
PROCESS = "process" # randevu, geri dönüş, evrak
OTHER = "other"
GUIDELINES = {
"mixed": "Hem olumlu hem olumsuz yargı açıkça var. 'Fiyat yüksek ama yeri harika.'",
"urgent": "İnsan 24 saat içinde bakmazsa müşteri kaybı veya itibar riski var.",
"neutral": "Bilgi talebi, randevu saati, belge gönderimi; yargı yok.",
}
Şema sürümünü her tahminle birlikte saklamak, sonra "Bu kayıt hangi kurallarla etiketlendi?" sorusunu cevaplanabilir kılar. Şema değiştiğinde eski kayıtları otomatik "yeniden yorumlamayın"; yeni sürümle yeniden etiketleyin ya da iki sürümü ayrı raporlayın.
3. Türkçenin tuzaklarını baştan listeleyin
Genel amaçlı modeller Türkçe metinde belirli kalıplarda düzenli olarak hata yapar. Bunları "kenar durum" diye ertelemek yerine altın sete bilerek koymak gerekir:
- Olumsuzlama ile olumlu anlam: "Fena değil", "hiç de kötü sayılmaz", "beklediğimden az sorunlu". Kelime bazlı yaklaşımlar burada çuvallar.
- Kibar şikâyet: "Sanırım bir yanlış anlaşılma oldu, üç gündür dönüş bekliyorum." Ton yumuşak, eylem gerekliliği yüksek.
- İroni: "Çok sağ olun, harika bir hızla döndünüz (bir hafta sonra)." Bağlam olmadan olumlu görünür.
- Ek ve yazım çeşitliliği: Türkçe karakter kullanılmayan mesajlar ("cok pahali olmus"), sesli mesaj dökümlerindeki bozuk cümleler, emoji ile anlam taşıma.
- Kod değiştirme: Yurt dışından gelen alıcılarda Türkçe-İngilizce karışık cümleler ("Price is ok ama ödeme planı net değil").
- Kısa onaylar: "Tamam", "ok", "👍". Bunlar çoğu zaman nötrdür; olumlu saymak ilgi metriklerini şişirir.
Bu listenin her maddesi için altın sette en az birkaç örnek olmalı ve sonuçlar kategori bazında raporlanmalı. Ortalama doğruluk iyi görünürken "kibar şikâyet" kategorisinde modelin neredeyse hiç yakalayamadığını ancak böyle görürsünüz.
4. Altın set: Küçük, temsilî ve iki kişiyle etiketlenmiş
Altın set, modelin değil sizin doğrunuzdur. Birkaç yüz mesajlık bir set, rastgele seçilmiş binlerce mesajdan daha değerli olabilir; yeter ki gerçek dağılımı ve bilinen zor durumları temsil etsin. Pratikte şöyle kuruyorum:
- Kanal bazında (WhatsApp, form notu, e-posta, çağrı dökümü) katmanlı örnekleme yapın.
- Kişisel veriyi maskeleyin (aşağıda).
- Her mesajı iki kişi bağımsız etiketlesin; anlaşmazlıkları üçüncü kişi ya da kısa bir toplantı çözsün.
- Anlaşmazlık oranı yüksek kategoriler için şemayı netleştirin; sorun çoğu zaman modelde değil tanımdadır.
İki etiketçinin uyumunu ölçmek, modelden ne bekleyebileceğinizin üst sınırını verir. İnsanlar kendi aralarında bir kategoride anlaşamıyorsa, modelin o kategoride "hatası" aslında belirsizliğin yansımasıdır.
# agreement.py
from sklearn.metrics import cohen_kappa_score, confusion_matrix
def annotator_agreement(rows):
a = [r["annotator_a_tone"] for r in rows]
b = [r["annotator_b_tone"] for r in rows]
kappa = cohen_kappa_score(a, b)
labels = ["positive", "neutral", "negative", "mixed"]
cm = confusion_matrix(a, b, labels=labels)
return kappa, labels, cm
# Kappa düşükse modele geçmeyin; önce yönergeyi (GUIDELINES) düzeltin.
Kappa için evrensel bir "yeterli" eşik vermek istemiyorum; alan ve kategori sayısına göre değişir. Benim kuralım şu: bir yönerge güncellemesinden sonra kappa yükselmiyorsa, kategori ya birleştirilmeli ya da ayrıştırılmalı.
5. Modele göndermeden önce maskeleme
Müşteri mesajları telefon, e-posta, kimlik numarası, IBAN ve bazen adres içerir. Duygu analizi için bunların hiçbirine ihtiyaç yok. Dış bir LLM servisine göndermeden önce maskeleyin ve maskelenmiş metni ayrıca saklamayın; yalnızca sonucu ve referans kimliğini tutun.
import re
PATTERNS = [
(re.compile(r"\b[\w.+-]+@[\w-]+\.[\w.]+\b"), "<EPOSTA>"),
(re.compile(r"\bTR\d{2}(?:\s?\d{4}){5}\s?\d{2}\b", re.I), "<IBAN>"),
(re.compile(r"(?:\+?90|0)?\s?5\d{2}[\s-]?\d{3}[\s-]?\d{2}[\s-]?\d{2}\b"), "<TELEFON>"),
(re.compile(r"\b\d{11}\b"), "<KIMLIK>"),
]
def mask(text: str) -> str:
for pattern, token in PATTERNS:
text = pattern.sub(token, text)
return text
Bu kalıplar bir başlangıçtır, tam bir çözüm değildir; isimler ve adresler için ayrıca bir varlık tanıma adımı gerekir. Hangi veriyi hangi amaçla işlediğiniz ve hangi sağlayıcıya aktardığınız, aydınlatma metniniz ve sözleşmelerinizle uyumlu olmalı. (Bu bir hukuki görüş değildir; kendi hukuk danışmanınızla doğrulayın.)
6. LLM'den serbest metin değil, doğrulanan şema isteyin
LLM tabanlı sınıflandırmada en sık gördüğüm hata, modelin cevabını metin olarak alıp içinde "olumsuz" kelimesi geçiyor mu diye bakmak. Bunun yerine çıktıyı bir şemaya bağlayın, doğrulayın ve doğrulamayı geçemeyen cevabı ayrı bir kuyruğa alın. Sağlayıcınız JSON şeması ile çıktı zorlamayı destekliyorsa kullanın; desteklemese bile sunucu tarafında doğrulama şart.
from pydantic import BaseModel, Field, ValidationError
from sentiment_schema import Tone, Action, Aspect, SCHEMA_VERSION
class SentimentResult(BaseModel):
tone: Tone
action: Action
aspects: list[Aspect] = Field(default_factory=list, max_length=3)
evidence: str = Field(max_length=200) # mesajdan kısa alıntı
confidence: float = Field(ge=0, le=1)
PROMPT_VERSION = "p-2026-11-21a"
def classify(message_id: str, text: str, llm_call) -> dict:
masked = mask(text)
raw = llm_call(prompt_version=PROMPT_VERSION, text=masked)
try:
result = SentimentResult.model_validate_json(raw)
except ValidationError as exc:
return {"message_id": message_id, "status": "invalid_output",
"error": str(exc)[:500], "prompt_version": PROMPT_VERSION}
if result.evidence and result.evidence not in masked:
# Model alıntı uydurduysa sonucu güvenilir saymayın
return {"message_id": message_id, "status": "evidence_mismatch",
"prompt_version": PROMPT_VERSION}
return {"message_id": message_id, "status": "ok",
"schema_version": SCHEMA_VERSION,
"prompt_version": PROMPT_VERSION,
**result.model_dump(mode="json")}
evidence alanı iki işe yarar: danışman, rozetin neden kırmızı olduğunu tek bakışta görür; siz de modelin metinde olmayan bir gerekçe uydurup uydurmadığını mekanik olarak kontrol edersiniz. confidence alanını ise mutlak bir olasılık gibi okumayın; LLM'lerin kendi bildirdiği güven değerleri genellikle kalibre değildir. Bu değeri yalnızca altın sette doğrulukla ilişkisini ölçtükten sonra eşik olarak kullanın.
7. Her sürümü aynı testle ölçün
Prompt'u, modeli ya da şemayı değiştirdiğiniz her seferde altın sette değerlendirme koşturun ve sonucu sürüm numarasıyla saklayın. Tek bir "doğruluk" sayısı yerine şunlara bakın:
- Ton için sınıf bazında precision/recall ve makro F1 (dengesiz dağılımda ortalama doğruluk yanıltır).
-
urgentiçin ayrıca recall: kaçırılan bir acil şikâyet, yanlış alarmdan daha pahalıdır. - Türkçe tuzak kategorileri (olumsuzlama, kibar şikâyet, ironi, Türkçe karaktersiz yazım) için ayrı tablolar.
- Geçersiz çıktı ve kanıt uyuşmazlığı oranı.
from sklearn.metrics import classification_report
def evaluate(golden, predictions, version):
by_id = {p["message_id"]: p for p in predictions}
y_true, y_pred, buckets = [], [], {}
for g in golden:
p = by_id.get(g["message_id"])
pred = p["tone"] if p and p.get("status") == "ok" else "invalid"
y_true.append(g["tone"]); y_pred.append(pred)
for tag in g.get("hard_case_tags", []):
buckets.setdefault(tag, []).append(g["tone"] == pred)
report = classification_report(y_true, y_pred, output_dict=True, zero_division=0)
hard = {k: sum(v) / len(v) for k, v in buckets.items()}
return {"version": version, "report": report, "hard_cases": hard}
Yeni sürüm ancak acil recall'ı düşürmeden ve zor kategorilerde geri gitmeden genel skoru iyileştiriyorsa üretime çıkmalı. Bu kuralı CI'da bir kapı olarak tanımlamak, "Prompt'a bir cümle ekledim, daha iyi gibi" türü değişikliklerin önüne geçer.
8. CRM'de nasıl saklanmalı?
Duygu sonucunu lead kaydına tek bir alan olarak yazmak cazip ama yanlış. Sonuç etkileşime (mesaja, çağrıya) aittir; lead düzeyindeki görünüm bunlardan türetilir.
CREATE TABLE interaction_sentiment (
interaction_id BIGINT PRIMARY KEY,
lead_id BIGINT NOT NULL,
channel TEXT NOT NULL, -- whatsapp, email, call_transcript
tone TEXT NOT NULL,
action TEXT NOT NULL,
aspects TEXT[] NOT NULL DEFAULT '{}',
evidence TEXT,
schema_version TEXT NOT NULL,
prompt_version TEXT NOT NULL,
model_id TEXT NOT NULL,
human_override TEXT, -- danışman düzeltmesi
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
-- Lead görünümü: son 14 günde acil etkileşim var mı, baskın olumsuz konu ne?
SELECT lead_id,
bool_or(COALESCE(human_override, action) = 'urgent') AS has_urgent,
mode() WITHIN GROUP (ORDER BY a) AS top_negative_aspect
FROM interaction_sentiment s
LEFT JOIN LATERAL unnest(s.aspects) AS a ON s.tone IN ('negative', 'mixed')
WHERE created_at > now() - interval '14 days'
GROUP BY lead_id;
human_override alanı hem danışmana kontrol verir hem de size ücretsiz etiketli veri üretir. Düzeltilen kayıtları haftalık olarak inceleyip altın sete aday olarak ekleyin; ama doğrudan eklemeyin, çünkü danışman düzeltmeleri de yönergeyle tutarsız olabilir.
9. Otomasyon sınırları
Duygu sonucuyla yapılabilecek makul otomasyonlar sınırlıdır ve bence öyle kalmalı:
-
urgentetkileşim için yöneticiye görev açmak ve görünür bir uyarı göstermek. - Olumsuz konuları (fiyat, ödeme planı, teslim tarihi) haftalık raporda toplamak; ürün ve fiyat ekibine sinyal vermek.
- Danışmana konuşma özetinin yanında kanıt alıntısını göstermek.
Yapılmaması gerekenler: duygu skoruna göre müşteriye otomatik mesaj göndermek, lead'i otomatik kapatmak, danışman performansını yalnızca bu skorla değerlendirmek. Bir modelin "olumsuz" dediği konuşma, aslında danışmanın zor bir itirazı başarıyla yönettiği konuşma olabilir.
10. Kaymayı (drift) izleyin
Yeni bir proje lansmanı, fiyat güncellemesi ya da farklı bir ülkeden gelen kampanya trafiği mesajların dilini değiştirir. Haftalık olarak üç şeye bakmak yeterli bir erken uyarı sağlar: ton dağılımındaki ani değişim, geçersiz çıktı oranı ve danışman düzeltme oranı. Düzeltme oranı yükseliyorsa sorun modelde değil, değişen gerçeklikte olabilir; altın seti yeni dönemin örnekleriyle tazeleyin.
Sık Sorulan Sorular (SSS)
Duygu analizi için LLM mi, ince ayarlı küçük bir model mi kullanmalıyım?
Altın setiniz yoksa bu soruya cevap veremezsiniz. Önce seti kurun, sonra iki yaklaşımı aynı test üzerinde karşılaştırın. Hacim yüksek ve kategoriler stabilse küçük bir model maliyet ve gecikmede avantaj sağlayabilir; kategoriler sık değişiyorsa LLM ile prompt sürümlemek daha esnektir.
Altın set kaç örnek olmalı?
Sabit bir sayı yok. Pratik ölçüt: her kategori ve her zor durum etiketi için anlamlı sayıda örnek bulunmalı ki kategori bazında skor gürültüden ibaret olmasın. Küçük başlayıp anlaşmazlıkların yoğunlaştığı yerlere örnek ekleyin.
Sesli mesaj ve çağrı kayıtlarında da çalışır mı?
Döküm (transcript) üzerinden çalışır, ama döküm hataları tonu bozar. Çağrı dökümlerini ayrı bir kanal olarak etiketleyin ve skorlarını yazılı mesajlarla aynı tabloda ortalamayın.
Model güven skorunu eşik olarak kullanabilir miyim?
Ancak altın sette güven değeriyle gerçek doğruluk arasındaki ilişkiyi ölçtükten sonra. Aksi halde 0,9 yazan bir değerin gerçekten yüzde 90 doğru olduğunu varsaymış olursunuz.
Duygu analizi danışman performansı için kullanılmalı mı?
Tek başına hayır. Konuşmanın tonu çoğu zaman müşterinin koşullarını yansıtır, danışmanın kalitesini değil. Bu veriyi koçluk için bağlam olarak kullanmak, puanlama için kullanmaktan çok daha sağlıklıdır.
KVKK açısından nelere dikkat etmeliyim?
Mesajları dış sağlayıcıya göndermeden önce maskeleyin, yalnızca gerekli sonucu saklayın, işleme amacını ve aktarımı aydınlatma metninizde açıkça belirtin ve saklama süresi tanımlayın. Bu bir hukuki görüş değildir; kendi danışmanınızla doğrulayın.
Duygu analizini değerli kılan şey modelin kendisi değil, etrafındaki disiplindir: net bir şema, dürüst bir altın set, doğrulanan çıktı ve her sürümde tekrar eden ölçüm. Bu dört parça yerindeyse, CRM'deki o renkli rozet gerçekten bir şey söylemeye başlar.
Koray Yalçın — lead yönetimi, CRM ve yapay zekâ otomasyonları üzerine notlar.
來源:DEV Community · dev.to