Fine-tuner une IA : combien ça coûte vraiment
Spoiler : l'entraînement est la partie la moins chère. Le vrai budget est ailleurs. Les ordres de grandeur honnêtes, et quand ça vaut le coup.
« Combien ça coûte de fine-tuner ? » — la question piège
C'est la première question qu'on nous pose. Et c'est la mauvaise, parce qu'elle suppose que le coût, c'est l'entraînement. Or l'entraînement, aujourd'hui, c'est souvent la partie la moins chère. Le budget réel se cache ailleurs. Démêlons ça avec des chiffres.
Avant de lire la suite, un rappel utile : dans la majorité des cas, vous n'avez pas besoin de fine-tuner du tout. On explique pourquoi dans cet article. Ce qui suit vaut pour les cas où c'est vraiment justifié.
L'entraînement : la partie pas chère
La grande bascule des dernières années, c'est une technique appelée LoRA (et sa variante QLoRA). Au lieu de réentraîner tout le modèle, on n'ajuste qu'une petite fraction de ses paramètres. Résultat : 4 à 10 fois moins cher que le fine-tuning complet, pour 80 à 95 % du résultat sur la plupart des tâches.
En pratique, louer un GPU coûte de l'ordre de 1,5 à 8 $ de l'heure selon la carte (A10G, A100, H100). Et fine-tuner un modèle de 7 milliards de paramètres en LoRA prend 1 à 2 heures sur une seule A100. Faites le calcul : la facture de calcul pur se compte en dizaines d'euros, pas en milliers.