Karakterlerden Kelimelere: Japonca BPE Tokenizer

# Japonca haber külliyatını indirme ve okuma
import tarfile
import urllib.request
import os

filename = "ldcc-20140209.tar.gz"
if not os.path.exists(filename):
    print("İndiriliyor...")
    urllib.request.urlretrieve("https://www.rondhuit.com/download/ldcc-20140209.tar.gz", filename)

text = ""
articles = []
article_count_limit = 1000

with tarfile.open(filename, "r") as tar:
    for member in tar.getmembers():
        if member.isfile() and member.name.endswith(".txt"):
            file_content = tar.extractfile(member).read().decode("utf-8")
            lines = file_content.split("\n")
            if len(lines) >= 4:  # URL, tarih, başlığı atla
                content = "\n".join(lines[3:]).strip()
                if content:
                    articles.append(content)
                    text += content + "\n\n"

print(f"Toplam metin uzunluğu: {len(text):,}")
print(f"Makale sayısı: {len(articles):,}")
print(f"İlk kelime hazine boyutu: {len(set(text)):,}")

def get_pairs(tokens):
    """Bitişik karakter çiftlerini ve frekanslarını bul"""
    pairs = defaultdict(int)
    for i in range(len(tokens) - 1):
        pairs[(tokens[i], tokens[i + 1])] += 1
    return pairs

def merge_tokens(tokens, pair):
    """En sık kullanılan çifti tek token'a birleştir"""
    new_tokens = []
    i = 0
    while i < len(tokens):
        if (i < len(tokens) - 1 and 
            tokens[i] == pair[0] and tokens[i + 1] == pair[1]):
            new_tokens.append(pair[0] + pair[1])  # Çifti birleştir
            i += 2
        else:
            new_tokens.append(tokens[i])
            i += 1
    return new_tokens

# Karakter seviyesi token'larla başlat
tokens = list(text)  # Ayrı karakterlere böl
vocab = set(tokens)
target_vocab_size = 5000

while len(vocab) < target_vocab_size:
    # En sık kullanılan bitişik çifti bul
    pairs = get_pairs(tokens)
    if not pairs:
        break
    
    best_pair = max(pairs, key=pairs.get)
    
    # Bu çiftin tüm örneklerini birleştir
    tokens = merge_tokens(tokens, best_pair)
    vocab.add("".join(best_pair))
    
    if merge_count % 100 == 0:
        print(f"Birleştirme {merge_count}: kelime hazine {len(vocab)}, token {len(tokens)}")

def tokenize_with_bpe(text):
    """Öğrenilen BPE birleştirmelerini yeni metne uygula"""
    tokens = list(text)  # Karakterlerden başla
    changed = True
    
    while changed:
        changed = False
        new_tokens = []
        i = 0
        while i < len(tokens):
            # Bitişik çiftin kelime hazinesinde olup olmadığını kontrol et
            if (i < len(tokens) - 1 and 
                tokens[i] + tokens[i + 1] in vocab):
                new_tokens.append(tokens[i] + tokens[i + 1])
                i += 2
                changed = True
            else:
                new_tokens.append(tokens[i])
                i += 1
        tokens = new_tokens
    return tokens

# Eğitim Sonuçları:
Toplam metin uzunluğu: 659,423
Makale sayısı: 1,000
İlk kelime hazine boyutu: 2,913
BPE sonrası kelime hazine boyutu: 5,000

# Sıkıştırma Sonuçları:
Orijinal karakter sayısı: 659,423
BPE token'ları: 379,352
Sıkıştırma: %42.5