自然言語処理に必要な前処理とその実装例について

def lowercase_text(text):
    """
    テキストを小文字に変換する関数

    Parameters:
    - text (str): 小文字に変換するテキスト

    Returns:
    - str: 小文字に変換されたテキスト
    """
    return text.lower()

# テキストの例
example_text = "This is an EXAMPLE Text."

# テキストの小文字化
lowercased_text = lowercase_text(example_text)

# 結果の表示
print("Original Text:", example_text)
print("Lowercased Text:", lowercased_text)

import nltk
from nltk.tokenize import word_tokenize

# NLTKの必要なデータをダウンロード
nltk.download('punkt')

def tokenize_text(text):
    """
    テキストをトークン化する関数

    Parameters:
    - text (str): トークン化するテキスト

    Returns:
    - list: トークンのリスト
    """
    tokens = word_tokenize(text)
    return tokens

# テキストの例
example_text = "Tokenization is an important step in natural language processing."

# テキストのトークン化
tokens = tokenize_text(example_text)

# 結果の表示
print("Original Text:", example_text)
print("Tokens:", tokens)

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

# NLTKの必要なデータをダウンロード
nltk.download('stopwords')
nltk.download('punkt')

def remove_stopwords(text):
    """
    テキストからストップワードを削除する関数

    Parameters:
    - text (str): ストップワードを削除するテキスト

    Returns:
    - str: ストップワードが削除されたテキスト
    """
    # NLTKのストップワードを取得
    stop_words = set(stopwords.words('english'))

    # テキストをトークン化
    tokens = word_tokenize(text)

    # ストップワードを削除
    filtered_tokens = [word for word in tokens if word.lower() not in stop_words]

    # 削除されたトークンを連結して文字列に戻す
    filtered_text = ' '.join(filtered_tokens)

    return filtered_text

# テキストの例
example_text = "This is an example sentence with some stop words."

# ストップワードの削除
text_without_stopwords = remove_stopwords(example_text)

# 結果の表示
print("Original Text:", example_text)
print("Text without Stopwords:", text_without_stopwords)

import re

def remove_special_characters(text):
    """
    テキストから特殊文字と数字を削除する関数

    Parameters:
    - text (str): 特殊文字と数字を削除するテキスト

    Returns:
    - str: 特殊文字と数字が削除されたテキスト
    """
    # 正規表現を使用して特殊文字と数字を削除
    cleaned_text = re.sub(r'[^a-zA-Z\s]', '', text)
    
    return cleaned_text

# テキストの例
example_text = "This is an example sentence with 123 and some special characters!@#"

# 特殊文字と数字の削除
text_without_special_chars = remove_special_characters(example_text)

# 結果の表示
print("Original Text:", example_text)
print("Text without Special Characters:", text_without_special_chars)

import nltk
from nltk.stem import PorterStemmer, WordNetLemmatizer
from nltk.tokenize import word_tokenize

# NLTKの必要なデータをダウンロード
nltk.download('punkt')
nltk.download('wordnet')

def stemming_example(text):
    """
    テキストの語幹抽出（Stemming）の例

    Parameters:
    - text (str): 語幹抽出するテキスト

    Returns:
    - str: 語幹抽出されたテキスト
    """
    # Porter Stemmerの初期化
    stemmer = PorterStemmer()

    # テキストをトークン化
    tokens = word_tokenize(text)

    # 語幹抽出
    stemmed_text = ' '.join([stemmer.stem(word) for word in tokens])

    return stemmed_text

def lemmatization_example(text):
    """
    テキストの基本形への変換（Lemmatization）の例

    Parameters:
    - text (str): 基本形に変換するテキスト

    Returns:
    - str: 基本形に変換されたテキスト
    """
    # WordNet Lemmatizerの初期化
    lemmatizer = WordNetLemmatizer()

    # テキストをトークン化
    tokens = word_tokenize(text)

    # 基本形に変換
    lemmatized_text = ' '.join([lemmatizer.lemmatize(word) for word in tokens])

    return lemmatized_text

# テキストの例
example_text = "Running, runners, ran: they all run on the race."

# 語幹抽出の例
stemmed_text = stemming_example(example_text)

# 基本形への変換の例
lemmatized_text = lemmatization_example(example_text)

# 結果の表示
print("Original Text:", example_text)
print("Stemmed Text:", stemmed_text)
print("Lemmatized Text:", lemmatized_text)

from nltk import ngrams
from nltk.tokenize import word_tokenize

def generate_ngrams(text, n):
    """
    テキストからN-gramを生成する関数

    Parameters:
    - text (str): N-gramを生成するテキスト
    - n (int): N-gramのN

    Returns:
    - list: 生成されたN-gramのリスト
    """
    # テキストをトークン化
    tokens = word_tokenize(text)

    # N-gramの生成
    n_grams = list(ngrams(tokens, n))

    return n_grams

# テキストの例
example_text = "Natural Language Processing is a subfield of artificial intelligence."

# 2-gramの例
ngrams_2 = generate_ngrams(example_text, 2)

# 3-gramの例
ngrams_3 = generate_ngrams(example_text, 3)

# 結果の表示
print("Original Text:", example_text)
print("2-gram:", ngrams_2)
print("3-gram:", ngrams_3)

pip install spacy

python -m spacy download en_core_web_sm

import spacy

# spaCyのモデルを読み込み
nlp = spacy.load('en_core_web_sm')

def text_encoding(text):
    """
    テキストを単語埋め込みに変換する関数

    Parameters:
    - text (str): 変換するテキスト

    Returns:
    - numpy.ndarray: 単語埋め込みに変換された配列
    """
    # テキストを解析し、単語ごとにトークン化して取得
    doc = nlp(text)
    
    # 各単語の単語埋め込みベクトルを取得
    word_embeddings = [token.vector for token in doc]
    
    return word_embeddings

# テキストの例
example_text = "Natural Language Processing is fascinating."

# 単語埋め込みに変換
embeddings = text_encoding(example_text)

# 結果の表示
print("Original Text:", example_text)
print("Word Embeddings:", embeddings)

def handle_missing_data(text):
    """
    テキスト中の欠損データを処理する関数

    Parameters:
    - text (str): 処理するテキスト

    Returns:
    - str: 欠損データが処理されたテキスト
    """
    # 例として、欠損データを空白に置換する
    processed_text = text.replace('[MISSING]', '')

    return processed_text

# テキストの例（欠損データが含まれていると仮定）
example_text_with_missing_data = "This is an example [MISSING] with missing data."

# 欠損データの処理
processed_text = handle_missing_data(example_text_with_missing_data)

# 結果の表示
print("Original Text:", example_text_with_missing_data)
print("Processed Text:", processed_text)

def adjust_text_length(text, max_length):
    """
    テキストの長さを調整する関数

    Parameters:
    - text (str): 調整するテキスト
    - max_length (int): 目標の最大長

    Returns:
    - str: 長さが調整されたテキスト
    """
    # テキストの長さが目標の最大長以下であれば、パディングを追加
    if len(text) < max_length: padded_text = text + ' ' * (max_length - len(text)) return padded_text # テキストの長さが目標の最大長以上であれば、トリミング elif len(text) > max_length:
        trimmed_text = text[:max_length]
        return trimmed_text
    # テキストの長さが目標の最大長と同じであればそのまま返す
    else:
        return text

# テキストの例
example_text = "This is an example sentence."

# テキストの長さを調整（例: 最大長を10に設定）
adjusted_text = adjust_text_length(example_text, max_length=10)

# 結果の表示
print("Original Text:", example_text)
print("Adjusted Text:", adjusted_text)