Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> สมาร์ทโฟน >> Android

5 การใช้งาน Local LLM บนโทรศัพท์ที่ทรงพลัง

เผยแพร่เมื่อ 16 เมษายน 2569 เวลา 15:00 น. EDT

Oluwademilade เป็น tech enthusiast ที่มีประสบการณ์เขียนเกิน 5 ปี เขาร่วมทีม MUO ในปี 2022 และครอบคลุมหัวข้อต่างๆ รวมถึง consumer tech, iOS, Android, artificial intelligence, hardware, software และ cybersecurity นอกจากเขียนที่ MUO ผลงานของเขายังปรากฏบน HowtoGeek, Cryptoknowmics, TechNerdiness และ SlashGear

Oluwademilade เรียนที่ University of Ibadan ในนิเจเรีย ได้ปริญญาแพทย์จาก College of Medicine ด้วยความเก่งใน public service เขาได้รับ title Global Action Ambassador จากองค์กรนักศึกษาที่ affiliated กับ United Nations ได้รับการแต่งตั้งใน Kuala Lumpur, Malaysia ในปี 2020

ในเวลาว่างเขาชอบทดสอบ AI apps และ features ใหม่ troubleshoot ปัญหาเทคโนโลยีให้ครอบครัวและเพื่อน เรียนภาษาเขียนโค้ดใหม่ และเดินทางไปที่ใหม่ๆ เมื่อเป็นไปได้

ทุกครั้งที่คุณส่ง prompt ไป ChatGPT, Gemini และพวกเขา มันเดินทางข้ามอินเทอร์เน็ต ตกบนเซิร์ฟเวอร์ที่ไหนที่นั่น และกลายเป็นส่วนหนึ่งของระบบที่คุณไม่ได้เห็นจริง Trade-off นั้นปกติ worth it เพราะ cloud models เร็วกว่า ฉลาดกว่า และง่ายกว่าในการใช้

แตการรัน small language model locally บนโทรศัพท์ของผมเปลี่ยนสิ่งที่ผมใช้ AI สำหรับ ประสบการณ์เป็น private มากขึ้น และบางครั้ง practical กว่าที่คาดหวัง มันไม่ทรงพลังเท่า cloud AI แตสำหรับบางสิ่ง มันคือ better tool จริงๆ

นี่คือ most useful ways ที่ผมใช้ local LLM บนโทรศัพท์ของผม

ผมใช้มันเป็น thinking partner

สำหรับคำถามที่ผมไม่อยากให้ออกจากโทรศัพท์

มีประเภทคำถามเฉพาะที่ทำให้คุณหยุดคิดก่อนพิมพ์ลง ChatGPT หรือแม้ Google ไม่ใช่เพราะมัน inappropriate แตเพราะมัน personal พอที่การส่งไป server ที่ tied กับ account ของคุณไม่รู้สึกดี สิ่งที่นับว่า "too personal" จะต่างจากคนไปคน แตทุกคนดูเหมือนมี invisible line นั้น

นั่นคือคำถามที่ผมเริ่มนำไป local model แทน การสนทนาอยู่บน hardware ของผม และถ้าผมอยาก extra cautious ผมสามารถ flip โทรศัพท์เข้ Airplane Mode และมี truly air-gapped conversation ที่จุดนั้น มันจริงๆ แค่คุณและ model ไม่มี connection ไป outside world

สิ่งนี้เปลี่ยนวิธีที่ผมใช้ AI ผมยินดี think out loud, test half-formed ideas หรือถามคำถามที่ปกติจะเก็บไว้เอง

ผมโยน messy notes เข้าไป

และได้ structure กลับมา

ผมจดบันทึกเยอะ และ frankly ส่วนใหญ่เป็น mess รวมถึง speech-to-text transcripts ที่ loop กลับตัวเอง bullet points ไม่มี context half-finished thoughts ที่ทำ sense ใน moment และ none at all later Old workflow ของผม involved การมองมาก shuffling lines around และ slowly พยายาม reconstruct ว่าผมหมายถึงอะไร

ตอนนี้ผม paste brain dumps ตรงเข้า local model และขอให้มัน organize มันสามารถ pull out thread, figure out ว่าผมกำลัง circle around อะไร และ return something cleaner ที่จะ build ต่อได้ ไม่ได้ polished ทั้งหมด แต coherent พอที่จะ move forward

สิ่งนี้ทำงานได้ดีมากสำหรับ notes ที่รู้สึก too raw ที่จะส่งที่ไหน เพราะทุกอย่างอยู่ on-device ผมไม่ลังเล paste material ที่มี real names, figures หรือ personal context เหมือนที่กล่าวมาก่อน ไม่มี mental pause เกี่ยวกับว่าข้อความจะไปไหน เพราะมันไม่เคยออกจากเครื่อง นี่คือเหตุผลที่ผม switch ทุกอย่างไป local AI และหยุดส่ง documents ไป cloud

ผมรัน quick code checks

เมื่อผมแค่ต้องการ sanity check logic

Proprietary logic, internal tooling, client-specific configs — นี่คือ situations เยอะที่การ paste code ลง cloud model เป็น borderline bad idea ไม่ว่า terms of service จะสัญญาอะไร local LLM ที่รันบนโทรศัพท์ของผมกลายเป็น lightweight fallback เมื่อผมไกลจาก laptop เหมือนที่มี several interesting ways ใช้ local LLM กับ MCP tools บน desktop ผมสามารถ describe error, paste small function หรือแค่ขอ plain-English explanation ของว่าชุด logic ชุดหนึ่งทำอะไร โดยตรงจากโทรศัพท์ของผม

มันไม่ใช่ replacement สำหรับ proper IDE ไม่ว่าจะใกล้เคียง แตมัน fill gaps นี้ทำงานได้ดีที่สุดกับ smaller snippets เช่น สองสามร้อยบรรทัดสูงสุด ภายใน range นั้น แม้ on-device models เล็กๆ ก็ capable ที่จะ explain logic, spot obvious mistakes หรือ suggest cleaner approaches

ผมใช้มันเป็น zero-pressure language tutor

Practice โดยไม่มี streaks, scores หรือ pressure

Cloud-based language apps บ่อยครั้งรู้สึกเหมือน mobile games มากกว่า learning tools พวกมัน track streaks, nudge ด้วย notifications และ sprinkle ads เพื่อ keep you engaged Local LLM ไม่ทำอะไรอย่างนั้นเลย

ผมใช้มัน practice French และ Spanish ใน free-form way มากขึ้น ได้ inspiration จาก trick ของการใช้ Kindle และ ChatGPT เป็น shortcut สำหรับเรียนภาษาใหม่ ผมสามารถถาม awkward grammar questions, request roleplay scenarios หรือแค่ hold casual conversations โดยไม่กังวล mistakes ไม่มี scoring system และไม่มี sense of being evaluated

เพราะมันรัน locally มันก็ทำงาน offline ผมสามารถ practice ระหว่างเที่ยวบิน บน hotel Wi-Fi ที่ spotty หรือที่ไหนก็ตามที่ connection ไม่ reliable นั่นทำให้ง่ายที่จะ squeeze in short sessions โดยไม่ต้อง plan around connectivity

ผมชี้กล้องไปที่สิ่งต่างๆ และถาม...

นั่นคืออะไร?

บาง local models จัดการ images ได้เช่นเดียวกับ text (พวกมันจริงๆ เรียกว่า multimodal models) ซึ่งเปิด practical uses ชุดใหม่ ผมโดยปกติใช้พวกมัน summarize whiteboards, interpret handwritten notes และ extract key points จาก quick photos

มันยังช่วยใน everyday situations ผมถ่าย ingredient labels เพื่อ double-check allergens ถ่าย product packaging เพื่อเข้าใจ unfamiliar terms และถ่ายพืชแค่เพื่อ rough identification ไม่มีอะไรต้องการ internet connection เมื่อ model รัน fully on-device

Results ไม่ได้ perfect เสมอไป Smaller models อาจ hallucinate details โดยเฉพาะตอน image blurry หรือ cluttered แตมันมัก good enough สำหรับ quick context หรือ second opinion ซึ่งมักเป็นสิ่งที่ผมต้องการ

โมเดลเล็กกว่า แต usefulness ชนิดต่าง

MNN Chat พัฒนาโดย Alibaba เป็น open-source project กลายเป็น go-to ของผมสำหรับ tasks ชนิดนี้เพราะว่ามัน squeeze performance ออกจาก mobile hardware ได้ดีมาก มัน single-handedly proves ว่าคุณสามารถ (และควร) รัน tiny LLM บน Android phone ของคุณ

ว่าด้วยนั้น การรัน local LLM บนโทรศัพท์ของคุณไม่ใช่ replacement สำหรับ cloud AI โมเดลใหญ่ยังมี edge ตอน heavy lifting, complex reasoning, coding, deep research ทั้งหมดนั้น แตนั่นไม่ได้เป็นจุดจริง local models เติม role ที่ต่างออกไป พวกมัน private, always within reach และ quite useful สำหรับ smaller, everyday tasks