Llama.cpp: Apple Silicon 지원을 갖춘 Facebook LLaMA 모델의 C/C++ 포트

스레드를 대략 훑어보면, Apple Silicon의 Neural Engine을 활용해 7b 파라미터 LLaMA 모델이 기본형 M1 Pro에서 초당 약 20토큰(초당 약 4단어)을 처리하는 것으로 보입니다. 최신 iPhone에는 최신 M 시리즈 MacBook과 비슷한 성능의 Neural Engine이 탑재됩니다(iPhone 14 Pro와 M1 MacBook Pro 모두 각자의 Neural Engine에 대해 15.8테라플롭스를 내세우며, 두 칩의 구성 요소가 정확히 같은 것일 수도 있습니다). 모든 iPhone 14 모델에는 6GB 통합 RAM이 있고, MacBook은 8GB부터 시작합니다. 사양을 종합하면 iPhone 14 Pro도 M1 MacBook Pro와 비슷한 처리량을 낼 수 있을 듯합니다. 이미 Whisper를 Neural Engine으로 포팅하는 데 성공한 사람들도 있고, 14시간 전에는 LLaMA의 Neural Engine 포트와 Whisper의 C++ 포트를 만든 GGerganov가 앞으로 몇 주 안에 이 작업을 하겠다는 GitHub 댓글을 올렸습니다. 그러므로 Neural Engine에서 Whisper와 LLaMA 모두 실시간보다 나은 성능을 보이고, Apple에는 이미 Siri Neural TTS가 있으니, ChatGPT급 비서가 음성만으로 작동하고 전적으로 휴대폰에서 실행되게 하는 데 필요한 모든 조각이 갖춰진 것처럼 보입니다. 정말로 엄청난 일입니다! > 모든 사양을 종합하면 iPhone 14 Pro도 M1 MacBook Pro와 비슷한 처리량을 낼 수 있을 듯합니다.

배터리 용량과 발열은 다르며 문제가 될 수 있습니다. 휴대폰이 더 일찍 성능을 제한할 수도 있습니다.

ChatGPT급 비서가 음성만으로 작동하고 전적으로 휴대폰에서 실행되게 하는 데 필요한 모든 조각이 갖춰진 것처럼 보입니다.

시연으로는 그렇겠지만, Siri 같은 반응성을 위해 모델을 충분히 빨리 불러올 수 있을까요? 다른 프로그램도 함께 실행하고 싶을 것입니다. 그리고 물론 Apple이 이런 것을 채택하려면 이 모델들이 대화를 탈선시키는 경향부터 없애야 합니다. 다소 성차별적·인종차별적인 내용을 입력하면, 조금 더 성차별적·인종차별적인 답변을 내놓을 테니까요.) 그래도 멋진 시연이 되겠죠. > 우리는 이 모델들이 [...] 조금 더 성차별적·인종차별적인 답변을 내놓는 경향을 없애야 합니다.

인종차별적인 답을 원하지 않는다면 인종차별적인 말을 하지 마세요. 또, 앵무새와 주인처럼 그 인종차별이 어디서 왔는지도 꽤 분명할 겁니다. MS Tay나 원격근무 챗봇처럼 트윗할 수 있는 AI는 망가졌을 때 큰 관심을 받습니다. 휴대폰 속 개인 AI는 휴대폰 사용자 대중에게 별다른 우려를 불러일으키지 않을 듯합니다. 다른 사람이 그것에게 상스러운 말을 시킬 수 있다는 점보다 이점에 더 감사하게 될 것이라 생각합니다.

이 시점에서 음성 기반 비서로서 Siri는 완전히, 철저하게 쓸모없어져서 다른 무엇과도 비교할 가치가 없습니다. 회사가 그런 기능을 10년 동안 개발하면서 출시할 때마다 어떻게 더 나쁘게 만들 수 있는지 궁금합니다. 이제 Apple은 Siri를 너무 부끄러워해야 하므로, 아예 없애는 편이 순이익일 거라고 정말 생각합니다. 없애고, 다시 시작하세요. Siri에 관여한 사람도 모두 해고하고요 :-)

Siri는 가끔 빨래를 하느라 바쁜 건지 신만 아는 일을 하고 있습니다. Siri의 품질은 Google Assistant보다 훨씬 낫다고 생각하지만 지연 시간은 궁금합니다. 정말요? Siri는 기본 지시보다 조금만 복잡해져도 아무것도 이해하지 못한다고 느낍니다. Google Assistant는 더 많은 일을 하는 듯합니다. 彩娱乐彩票 优宝json തുടരുന്നു】【：】【“】【{