• 0 Posts
  • 29 Comments
Joined 2 months ago
cake
Cake day: January 18th, 2026

help-circle


  • Ja, momentan laufen die M4 Chips nur mit Mac OS. Ist aber nicht wirklich schlimm, sobald man das terminal öffnet ist’s quasi Linux mit extra steps.

    Für ältere M Chips gibt’s mittlerweile auch eine Linux distro, damit habe ich mich aber noch nicht beschäftigt, zumal da der Support der M-Gpu äußerst unwahrscheinlich ist.

    Seit kurzem gibt’s via docker auch Metal Support, zumindest für llama.ccp vllm wird auch kommen. -> Docker model Runner (DRM)

    Wenns nur 64 GB sein sollen bist du mit 2k€ dabei. Dann gibt’s noch die Möglichkeit fürn 10gbits Netzwerk und ssds. Das ist aber so erstmal nicht unbedingt nötig.

    Wenn ein Lotto gewinnen ansteht kannste direkt mit dem kubernetes Cluster mehrere zusammenschalten, dann wird’s witzig, aber naja auch teuer:D



  • 1 m4 Mac Mini mit 64gb RAM ist günstiger & kann größere Modelle laden als 1x 5090. Und du bekommst noch einen ganz Computer dazu uuuund der zieht maximal 65w anstatt 400w(??).

    Darauf laufen mittlerweile (fast) alle model Runner.

    Habe heute bei mir via docker+ open web UI qwen3.5(Q4 ggfu) am laufen. Morgen probiere ich noch das neue Mistral in Q3 und qwen3.5 unlocked q6 aus.

    Die 3.5er Version läuft ohne reasoning sehr schnell, mit reasoning ist’s ah h nicht schlecht, aber er denkt schon sehr sehr viel :D.

    Setup ist: M4 Mini mit 64gb Docker (desktop) model Runner OpenwebUI

    Ggfs auch Mal nach dem gebrauchten Mac Studio gucken, vll gibt’s da gebrauchte mit ordentlich RAM für nicht ganz so absurd viel Geld.













  • Try a Debian based distro. So Debian, mint, Ubuntu, kubuntu.

    Ubuntu comes with gnome, looks and feels Mac os ish Kubuntu comes with KDE and looks like windows. Mint is kinda like kubuntu Debian comes with what ever DE you’ll install.

    Debian (based) distros are usually the most stable ones with good (Driver) support all around. I’ve had to come across a device which had any issue after an install with those distros. All of them will game, if that’s something you worry about.

    You could also try Fedora with KDE or Gnome.




  • Thing is with at least the programming part is: It good at common issues, as in it re invents the wheel really good. But context is king, the better the model knows what the data and task looks like the better it can solve the problem at hand. It won’t fix any niche problems or actually spit out performant code. It uses what’s publicly available as Ressource and it’s inherently uncreactive at problem solving. All the chat assistants effectively did for me is replace stackoverflow.

    These models only know how to re-produce already solved problems. There’s certainly great applications, like on the fly translation, summerizing and data extraction.

    But it still is just a probability machine, trained on satisfying it’s customer. That’s also why it will confidently spit out complete garbage and be proud about it. And that’s also a reason why the early models are shit at math, they don’t to math, they just guess. Later models write python or other code to do the math, that’s then f.e. called “thinking”.

    It will stay around but many many ai companies will fail, barely any are turning out profit, must just burn absolutely insane amounts of money in a circle jerk ai pit.