Les principaux points à retenir de ZDNET
- Les PC construits sur l’architecture Nvidia RTX Spark sont excellents pour les tâches d’IA.
- L’exécution d’un modèle local à pondération ouverte n’entraîne aucun frais par jeton ni limite d’utilisation.
- Le plus grand avantage de l’exécution d’un modèle d’IA local est la confidentialité.
À l’aube de l’ère du PC, le légendaire rédacteur en chef de PC Magazine, Bill Machrone, a inventé la loi de Machrone : « La machine que vous voulez coûtera toujours environ 5 000 $. » Ce chiffre est peut-être un peu plus élevé aujourd’hui en raison de la crise actuelle de la RAM, mais ajusté à l’inflation, la loi de Machrone reste vraie. La preuve ? J’ai actuellement un ordinateur portable à 7 000 $ sur mon bureau, et je dois avouer que j’ai vraiment, vraiment je le veux.
Aussi : j’ai soumis l’ordinateur portable RTX Spark de Lenovo à un test de codage d’IA complètement dingue – et il a réussi
Le HP OmniBook Ultra est une bête absolue. Il est alimenté par le RTX Spark de Nvidia, avec 128 Go de mémoire unifiée, 2 To de stockage NVMe Gen5 rapide et un superbe écran OLED de 16 pouces. Il pèse près de cinq livres, mais ce n’est pas vraiment un PC portable mais plutôt un centre de données personnel, offrant 1 pétaflop de performances IA FP4.
Je ne suis pas le marché cible de ce PC. Mais après quelques semaines d’utilisation, je suis sérieusement tenté. Pour les travaux liés à l’IA, son GPU a plusieurs fois la puissance d’un PC Copilot+ de jardin, et il est capable de tirer pleinement parti de la mémoire unifiée.
Comment l’IA locale s’est imposée dans mon projet
L’une des raisons pour lesquelles mon projet s’est terminé si rapidement est que j’ai pu l’exécuter sans interruption. J’ai initialement utilisé Copilot pour m’aider à configurer l’environnement de travail, en utilisant le runtime d’inférence open source llama.cpp, le grand modèle de langage à poids ouverts Qwen3.8-27B et un harnais de codage appelé Cline, fonctionnant comme une extension dans Visual Studio Code. Avec un peu d’aide supplémentaire de Copilot, j’ai configuré ces outils, rédigé une spécification détaillée pour l’application que je voulais, je l’ai transmise à Cline, puis j’ai surtout pris du recul et regardé.
J’avais une bonne idée générale de ce que faisaient tous ces composants, mais il m’aurait fallu des semaines de lecture, d’étude et d’installation manuelle par essais et erreurs pour que tout soit configuré et opérationnel. Grâce aux scripts PowerShell écrits par Copilot, j’ai lancé le projet en une demi-heure.
Pendant que le projet se déroulait, j’ai pu observer la « raison » de l’IA en temps réel. De temps en temps, il me demandait d’approuver quelque chose, mais la plupart du temps, il écrivait du code, exécutait des tests, observait les résultats, modifiait le code, exécutait d’autres tests, etc. L’ensemble du processus était un exemple classique de « codage agent humain dans la boucle », et tout ce que j’avais à faire était de vérifier de temps en temps pour voir comment les choses se déroulaient.
Je savais que c’était occupé, car lorsque le LLM fonctionnait, j’entendais le ventilateur tourner de l’autre côté de la pièce. Étonnamment, la machine n’a jamais été trop chaude ; Pourtant, c’est le genre de travail qu’il est préférable d’effectuer avec l’ordinateur portable posé sur un ordinateur de bureau, pas sur les genoux.
Aussi : je peux accéder gratuitement à mes ordinateurs personnels à distance – comment vous pouvez le faire aussi (pas de VPN nécessaire)
J’ai donné au LLM une feuille de calcul remplie de liens vers mes articles, que j’avais minutieusement construit au cours des deux dernières années. Non seulement il a trouvé et récupéré presque tous les articles de cette liste, mais il a également créé une routine distincte pour récupérer les pages de la Wayback Machine d’Internet Archive pour environ 90 liens renvoyant 404 erreurs, puis m’a présenté une liste d’environ 90 autres pages qu’il n’a pas pu récupérer du tout. Il a fallu peut-être 30 minutes pour examiner et résoudre cette dernière série de problèmes.
Après tout, j’avais deux dossiers, chacun contenant 1 951 fichiers – un en HTML brut, le second au format Markdown. Et pour conclure, j’ai demandé à mon IA locale de créer un script simple que je peux exécuter pour ajouter de nouveaux articles aux archives au fur et à mesure de leur publication.
Je ne peux pas commencer à vous dire à quel point ce résultat m’a rendu heureux.
Combien ça a coûté ?
Le projet complet a utilisé 479 appels d’inférence LLM et traité près de 50 millions de jetons logiques, pour un coût net total d’exactement 0,00 $.
L’un des aspects les plus frustrants de l’utilisation de ces harnais de codage d’IA modernes est qu’il n’existe aucun moyen d’estimer le nombre de jetons qu’ils utiliseront.
J’aurais pu utiliser un abonnement commercial à l’IA pour faire ce travail, mais j’aurais volé à l’aveugle. Aucune des entreprises qui vendent ces plans ne peut vous dire combien coûtera un projet donné. Votre consommation réelle – et donc la facture finale – dépend de facteurs que vous ne pouvez pas connaître à l’avance. Quelle quantité de code l’agent doit-il conserver en contexte ? Combien d’itérations et de cycles de débogage cela nécessitera-t-il ? Quels modèles utiliserez-vous ?
Aussi : Claude Code est-il vraiment plus rapide avec les fils de discussion ? J’ai fait le calcul sur mes logs
ChatGPT Plus (avec Codex), Claude Code Pro ou GitHub Copilot coûtent tous entre 10 $ et 20 $ par mois. C’est plus que suffisant pour une tâche simple, mais pour ce projet, j’aurais rapidement dépassé les limites d’utilisation avec ces plans d’entrée de gamme. Pour continuer à travailler avec un forfait à 20 $ par mois, j’aurais dû faire des pauses fréquentes, acheter des crédits supplémentaires, ou passer à un forfait à 100 $ par mois avec des limites d’utilisation plus élevées, comme ChatGPT Pro, Claude Code Max ou GitHub Copilot Max.
Après avoir examiné ces chiffres, j’ai eu une idée de la direction que prendront les modèles commerciaux d’Anthropic, d’OpenAI et de Microsoft. Même à 100 $ par mois, si j’avais décidé de mener des projets encore plus ambitieux, j’aurais facilement pu me retrouver limité en termes de taux, le travail devant attendre des heures ou des jours jusqu’au début du cycle suivant.
Pour les codeurs sérieux, ces factures peuvent devenir très coûteuses. Dans un récent épisode du podcast Decoder de Nilay Patel, l’analyste Joey Brookhart a proposé une statistique surprenante : “Les 5 % des utilisateurs les plus importants de Claude Code dépensent en moyenne 18 000 $ par an. Les utilisateurs non-Claude Code dépensent bien moins de 75 $ par mois.”
Maintenant je sais pourquoi.
Le plus grand avantage de tous
L’utilisation d’un modèle de poids ouvert et gratuit avec un faisceau de codage open source vous donne la liberté d’expérimenter sans vous soucier de la facture. Mais ce n’est qu’une partie de l’histoire. L’avantage bien plus important est que vous n’envoyez pas de données potentiellement sensibles ou confidentielles vers le cloud de quelqu’un d’autre ; avec une pile d’IA entièrement locale, vos invites, documents et charges de travail d’inférence n’ont pas du tout besoin de quitter le PC.
Ce n’était pas un gros problème pour mon projet, qui utilisait du contenu déjà publié sur le Web. Mais j’ai quelques autres applications en tête que je préfère ne partager avec personne d’autre jusqu’à ce qu’elles soient prêtes. La première implique une grande pile de documents financiers, de relevés de carte de crédit et de factures. Je suis heureux d’introduire ces données dans un LLM sur mon propre PC, mais je ne suis pas à l’aise de télécharger ces documents sur un service de codage hébergé dans le cloud.
Aussi : Cet outil Windows gratuit est mon arme secrète pour configurer de nouveaux PC
Vais-je faire suffisamment de ce genre de travail pour justifier de dépenser 7 000 $ sur un PC ? J’adorerais dire oui, mais mon CPA me regarderait pendant une minute complète, puis m’expliquerait patiemment comment fonctionne le « retour sur investissement ». “Non, Ed, tu ne peux pas justifier cette dépense.”
La bonne nouvelle est que la loi de Machrone fonctionne de concert avec la loi de Moore, qui décrit une tendance technologique fiable : la puissance de calcul double tous les 18 mois environ. Cela signifie que dans trois ans, je pourrai baver sur un PC doté de quatre fois plus de puissance de calcul pour 7 000 $. Mais à ce moment-là, une configuration comme ce HP OmniBook Ultra sera probablement une machine grand public de classe affaires, disponible pour une fraction de son prix actuel.
En attendant, j’attendrai.
Voir la bio complète
