Journalisation de DataStore

Configurer la journalisation de DataStore pour le débogage et la supervision

DataStore utilise le module de journalisation standard de Python. Ce guide explique comment configurer la journalisation à des fins de débogage.

​

Démarrage rapide

from pathlib import Path
Path("data.csv").write_text("""\
name,age,city,salary,department
Alice,25,NYC,55000,Engineering
Bob,30,LA,65000,Product
Charlie,35,NYC,80000,Engineering
Diana,28,SF,70000,Design
Eve,42,NYC,95000,Product
""")

from chdb import datastore as pd
from chdb.datastore.config import config

# Enable debug logging
config.enable_debug()

# Now all operations will log details
ds = pd.read_csv("data.csv")
result = ds.filter(ds['age'] > 25).to_df()

​

Niveaux de journalisation

Niveau	Valeur	Description
DEBUG	10	Informations détaillées pour le débogage
INFO	20	Informations générales de fonctionnement
WARNING	30	Messages d’avertissement (par défaut)
ERROR	40	Messages d’erreur
CRITICAL	50	Défaillances critiques

​

Définir le niveau de journalisation

import logging
from chdb.datastore.config import config

# Using standard logging levels
config.set_log_level(logging.DEBUG)
config.set_log_level(logging.INFO)
config.set_log_level(logging.WARNING)  # Default
config.set_log_level(logging.ERROR)

# Using quick preset
config.enable_debug()  # Sets DEBUG level + verbose format

​

Format des logs

​

Format simple (par défaut)

Query

config.set_log_format("simple")

Response

DEBUG - Executing SQL query
DEBUG - Cache miss for key abc123

​

Format verbose

Query

config.set_log_format("verbose")

Response

2024-01-15 10:30:45.123 DEBUG datastore.core - Executing SQL query
2024-01-15 10:30:45.456 DEBUG datastore.cache - Cache miss for key abc123

---

​

Ce qui est consigné

​

Niveau DEBUG

• Requêtes SQL générées
• Sélection du moteur d’exécution
• Opérations du cache (hits/misses)
• Durée des opérations
• Informations sur la source de données

DEBUG - Creating DataStore from file 'data.csv'
DEBUG - SQL: SELECT * FROM file('data.csv', 'CSVWithNames') WHERE age > 25
DEBUG - Using engine: chdb
DEBUG - Execution time: 0.089s
DEBUG - Cache: Storing result (key: abc123)

​

Niveau INFO

• Achèvement des opérations majeures
• Modifications de la configuration
• Connexions aux sources de données

INFO - Loaded 1,000,000 rows from data.csv
INFO - Execution engine set to: chdb
INFO - Connected to MySQL: localhost:3306/mydb

​

Niveau WARNING

• Utilisation de fonctionnalités obsolètes
• Avertissements de performance
• Problèmes non critiques

WARNING - Large result set (>1M rows) may cause memory issues
WARNING - Cache TTL exceeded, re-executing query
WARNING - Column 'date' has mixed types, using string

​

Niveau ERROR

• Erreurs lors de l’exécution des requêtes
• Erreurs de connexion
• Erreurs de conversion des données

ERROR - Failed to execute SQL: syntax error near 'FORM'
ERROR - Connection to MySQL failed: timeout
ERROR - Cannot convert column 'price' to float

---

​

Configuration personnalisée de la journalisation

​

Utiliser le module de journalisation de Python

import logging

# Configure root logger
logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    handlers=[
        logging.FileHandler('datastore.log'),
        logging.StreamHandler()
    ]
)

# Get DataStore logger
ds_logger = logging.getLogger('chdb.datastore')
ds_logger.setLevel(logging.DEBUG)

​

Journalisation dans un fichier

import logging

# Create file handler
file_handler = logging.FileHandler('datastore_debug.log')
file_handler.setLevel(logging.DEBUG)
file_handler.setFormatter(logging.Formatter(
    '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
))

# Add to DataStore logger
ds_logger = logging.getLogger('chdb.datastore')
ds_logger.addHandler(file_handler)

​

Désactiver la journalisation

import logging

# Suppress all DataStore logs
logging.getLogger('chdb.datastore').setLevel(logging.CRITICAL)

# Or using config
config.set_log_level(logging.CRITICAL)

---

​

Scénarios de débogage

​

Débogage de la génération SQL

config.enable_debug()

ds = pd.read_csv("data.csv")
result = ds.filter(ds['age'] > 25).groupby('city').sum()

Sortie des logs :

DEBUG - Creating DataStore from file 'data.csv'
DEBUG - Building filter: age > 25
DEBUG - Building groupby: city
DEBUG - Building aggregation: sum
DEBUG - Generated SQL:
        SELECT city, SUM(*) 
        FROM file('data.csv', 'CSVWithNames')
        WHERE age > 25
        GROUP BY city

​

Débogage de la sélection du moteur

config.enable_debug()

result = ds.filter(ds['x'] > 10).apply(custom_func)

Sortie des logs :

DEBUG - filter: selecting engine (eligible: chdb, pandas)
DEBUG - filter: using chdb (SQL-compatible)
DEBUG - apply: selecting engine (eligible: pandas)
DEBUG - apply: using pandas (custom function)

​

Débogage des opérations du cache

config.enable_debug()

# First execution
result1 = ds.filter(ds['age'] > 25).to_df()
# DEBUG - Cache miss for query hash abc123
# DEBUG - Executing query...
# DEBUG - Caching result (key: abc123, size: 1.2MB)

# Second execution (same query)
result2 = ds.filter(ds['age'] > 25).to_df()
# DEBUG - Cache hit for query hash abc123
# DEBUG - Returning cached result

​

Débogage des problèmes de performances

config.enable_debug()
config.enable_profiling()

# Logs will show timing for each operation
result = (ds
    .filter(ds['amount'] > 100)
    .groupby('region')
    .agg({'amount': 'sum'})
    .to_df()
)

Sortie des logs :

DEBUG - filter: 0.002ms
DEBUG - groupby: 0.001ms
DEBUG - agg: 0.003ms
DEBUG - SQL generation: 0.012ms
DEBUG - SQL execution: 89.456ms  <- Main time spent here
DEBUG - Result conversion: 2.345ms

---

​

Configuration de production

​

Paramètres recommandés

import logging
from chdb.datastore.config import config

# Production: minimal logging
config.set_log_level(logging.WARNING)
config.set_log_format("simple")
config.set_profiling_enabled(False)

​

Rotation des logs

import logging
from logging.handlers import RotatingFileHandler

# Create rotating file handler
handler = RotatingFileHandler(
    'datastore.log',
    maxBytes=10*1024*1024,  # 10MB
    backupCount=5
)
handler.setLevel(logging.WARNING)

# Add to DataStore logger
logging.getLogger('chdb.datastore').addHandler(handler)

---

​

Variables d’environnement

Vous pouvez également configurer la journalisation à l’aide de variables d’environnement :

# Set log level
export CHDB_LOG_LEVEL=DEBUG

# Set log format
export CHDB_LOG_FORMAT=verbose

import os
import logging

# Read from environment
log_level = os.environ.get('CHDB_LOG_LEVEL', 'WARNING')
config.set_log_level(getattr(logging, log_level))

---

​

Résumé

Tâche	Commande
Activer le débogage	config.enable_debug()
Définir le niveau	config.set_log_level(logging.DEBUG)
Définir le format	config.set_log_format("verbose")
Écrire dans un fichier	Utiliser les gestionnaires du module logging de Python
Désactiver les logs	config.set_log_level(logging.CRITICAL)