Em aprendizado de máquina (ML) e operações de aprendizado de máquina (MLOps), os desafios comuns incluem a preparação de dados, overfitting, underfitting, e a implementação de pipelines de ML escaláveis e reproduzíveis.
Exemplo: Detectar e corrigir overfitting usando validação cruzada
import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import RandomForestRegressor
# Criar um DataFrame de exemplo
data = {
'tamanho': [50, 60, 80, 100, 150],
'quartos': [1, 2, 2, 3, 4],
'preco': [200000, 250000, 300000, 400000, 600000]
}
df = pd.DataFrame(data)
# Dividir os dados em variáveis independentes e dependentes
X = df[['tamanho', 'quartos']]
y = df['preco']
# Dividir os dados em conjuntos de treinamento e teste
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Treinar e avaliar um modelo de regressão linear com validação cruzada
modelo_lr = LinearRegression()
scores_lr = cross_val_score(modelo_lr, X_train, y_train, cv=5)
print(f'Linear Regression Cross-Validation Scores: {scores_lr}')
print(f'Mean CV Score: {scores_lr.mean()}')
# Treinar e avaliar um modelo de Random Forest com validação cruzada
modelo_rf = RandomForestRegressor(n_estimators=100, random_state=42)
scores_rf = cross_val_score(modelo_rf, X_train, y_train, cv=5)
print(f'Random Forest Cross-Validation Scores: {scores_rf}')
print(f'Mean CV Score: {scores_rf.mean()}')