Hiya, rakan-rakan, dan selamat datang ke buletin AI tetap TechCrunch.
Minggu ini dalam AI, Apple mencuri perhatian.
Pada Worldwide Developers Conference (WWDC) syarikat di Cupertino, Apple memperkenalkan Apple Intelligence, langkah generatif AI yang dinanti-nantikan. Apple Intelligence memberikan kuasa kepada sejumlah ciri, dari Siri yang dipertingkatkan hingga emoji yang dihasilkan oleh AI hingga alat penyuntingan foto yang menghilangkan orang dan objek tidak diingini dari foto.
Syarikat itu berjanji Apple Intelligence dibangun dengan keselamatan di pusatnya, bersama pengalaman yang sangat peribadi.
“Ia harus memahami anda dan ditimbun dalam konteks peribadi anda, seperti rutin anda, hubungan anda, komunikasi anda dan banyak lagi,” CEO Tim Cook mengatakan semasa kunci pada Isnin. “Semua ini melebihi kecerdasan tiruan. Ia adalah kecerdasan peribadi, dan ia adalah langkah besar seterusnya untuk Apple.”
Apple Intelligence secara klasik Apple: Ia menyembunyikan teknologi yang rinci di belakang ciri yang jelas dan intuitif. (Tidak sekali pun Cook menyebut perkataan “model bahasa besar.”) Tetapi sebagai seseorang yang menulis tentang bahagian dalam AI untuk mencari nafkah, saya berharap Apple lebih penglihat — cuma sekali ini — tentang bagaimana daging dibuat.
Sebagai contoh, praktik latihan model Apple. Apple mendedahkan dalam suatu catatan blog bahawa ia melatih model AI yang menghidupkan Apple Intelligence pada gabungan rangkaian data berlesen dan web awam. Penerbit mempunyai pilihan untuk menarik diri daripada latihan seterusnya. Tetapi bagaimana jika anda seorang seniman yang ingin tahu sama ada kerja anda telah diserap dalam latihan awal Apple? Malunya — diam sebagai pilihan.
Keadaan dirahsiakan mungkin disebabkan oleh sebab-sebab persaingan. Tetapi saya menduga ia juga untuk melindungi Apple daripada cabaran undang-undang — khasnya cabaran yang berkaitan dengan hakcipta. Mahkamah belum memutuskan sama ada penjual seperti Apple mempunyai hak untuk berlatih atas data awam tanpa memberi pampasan atau memberi kredit kepada pencipta data tersebut — dengan kata lain, sama ada doktrin kegunaan yang adil boleh diguna pakai untuk AI generatif.
Sedikit penjelasan akan membantu. Ia memalukan kita tidak mendapat satu — dan saya tidak berharap kita akan mendapatkannya tidak lama lagi, kecuali satu saman mahkamah (atau dua).
Berita
Ciri AI teratas Apple: Saya telah meringkaskan ciri AI teratas Apple yang diumumkan semasa kunci WWDC minggu ini, dari Siri yang dipertingkatkan hingga integrasi mendalam dengan ChatGPT OpenAI.
Menggaji eksekutif: OpenAI minggu ini memperoleh Sarah Friar, bekas CEO rangkaian sosial hipelokal Nextdoor, untuk berkhidmat sebagai ketua pegawai kewangan, dan Kevin Weil, yang sebelum ini memimpin pembangunan produk di Instagram dan Twitter, sebagai ketua pegawai produknya.
E-mel, kini dengan lebih AI: Minggu ini, Yahoo (syarikat induk TechCrunch) mengemas kini Yahoo Mail dengan kemampuan AI baru, termasuk ringkasan e-mel yang dihasilkan oleh AI. Google memperkenalkan ciri ringkasan generatif yang sama-baru-baru ini — tetapi ia di belakang tembok bayaran.
Pandangan kontroversial: Satu kajian baru dari Carnegie Mellon mendapati bahawa tidak semua model AI generatif dicipta sama — terutamanya apabila berkaitan dengan cara mereka merawat perkara yang mempolarisasi.
Penghasil bunyi: Stability AI, syarikat rintis yang berada di belakang penghasil seni AI Stable Diffusion, telah mengeluarkan model AI terbuka untuk menghasilkan bunyi dan lagu yang diklaim dilatih eksklusif atas rakaman bebas royalti.
Kertas kajian minggu ini
Google percaya ia boleh membina model AI generatif untuk kesihatan peribadi — atau sekurang-kurangnya mengambil langkah awal dalam arah itu.
Dalam kertas baru yang dipersembahkan di blog rasmi Google AI, penyelidik-penyelidik di Google membuka tirai tentang Personal Health Large Language Model, atau PH-LLM untuk ringkas — versi diselaraskan versi salah satu model Gemini Google. PH-LLM direka untuk memberikan cadangan untuk meningkatkan tidur dan kebugaran, sebahagian dengan membaca data kadar jantung dan pernafasan dari perkakasan seperti smartwatch.
Untuk menguji keupayaan PH-LLM untuk memberi cadangan kesihatan yang berguna, para penyelidik mencipta hampir 900 kajian kes tentang tidur dan kebugaran yang melibatkan subjek yang berpangkalan di AS. Mereka mendapati bahawa PH-LLM memberi cadangan tidur yang hampir — tetapi tidak sepenuhnya baik seperti — cadangan yang diberikan oleh pakar tidur manusia.
Para penyelidik mengatakan bahawa PH-LLM boleh membantu menakrifkan data fisiologi untuk “aplikasi kesihatan peribadi.” Google Fit teringat; Saya tidak terkejut melihat PH-LLM akhirnya memberi kuasa kepada ciri baru dalam aplikasi Google yang tertumpu pada kecergasan, Fit atau sebaliknya.
Model minggu ini
Apple mengabdikan agak banyak kopi blognya yang baru pada model AI generatif peranti dan awan yang baru yang membentuk rangkaian kepandaian Apple-nya. Walaupun panjang pos ini, ia mendedahkan sedikit tentang keupayaan model tersebut. Inilah usaha terbaik kami untuk menganalisanya:
Model di peranti tanpa nama yang Apple tekankan adalah saiz kecil, tiada keraguan agar ia dapat berjalan secara luar talian pada peranti Apple seperti iPhone 15 Pro dan Pro Max. Ia mengandungi 3 bilion parameter — “parameter” adalah bahagian model yang secara asasnya menentukan kebolehannya bagi masalah, seperti menghasilkan teks — membuatnya dibandingkan dengan model Gemini Nano on-device Google, yang hadir dalam saiz parameter 1.8 bilion dan 3.25 bilion.
Manakala model pelayan, sebaliknya, lebih besar (berapa besarnya tepatnya, Apple tidak akan mengatakan). Apa yang kami tahu adalah bahawa ia lebih cekap daripada model di peranti. Sementara model di peranti berfungsi sejajar dengan model-model seperti Phi-3-mini Microsoft, Mistral Mistral 7B dan Google Gemma 7B pada perbandingan yang Apple senaraikan, model pelayan “dibandingkan dengan baik” dengan model flagship lama OpenAI GPT-3.5 Turbo, Apple mengklaim.
Apple juga mengatakan bahawa kedua-dua model di peranti dan model pelayan kurang cenderung untuk melindas (iaitu, menyembur toksisiti) daripada model-model berukuran serupa. Mungkin begitu — tetapi penulis ini menahan pendapat sehingga kita mendapat peluang untuk menguji Apple Intelligence.
Grab bag
Minggu ini menandakan ulang tahun yang keenam kelahiran GPT-1, leluhur GPT-4o, model AI generatif flagship terkini OpenAI. Walaupun pembelajaran mendalam mungkin sedang mencapai tembok, adalah luar biasa betapa jauh bidang ini telah melangkah.
Pertimbangkan bahawa perlu sebulan untuk melatih GPT-1 pada dataset teks sebesar 4.5 gigabait (BookCorpus, mengandungi kira-kira 7,000 buku fiksyen yang tidak diterbitkan). GPT-3, yang hampir 1,500x lebih besar daripada GPT-1 mengikut jumlah parameter dan jauh lebih canggih dalam prosa yang boleh dihasilkan dan dianalisis, memerlukan 34 hari untuk dilatih. Bagaimana itu untuk penskalaan?
Apa yang menjadikan GPT-1 sebagai terobosan adalah pendekatan terhadap latihan. Teknik sebelum ini bergantung pada kuantiti data yang diberi label secara manual, mengehadkan kegunaannya. (Memberi label data secara manual memakan masa — dan melelahkan.) Tetapi GPT-1 tidak; ia dilatih terutamanya pada data yang tidak diberi label untuk “belajar” bagaimana untuk melakukan pelbagai tugas (mis., menulis esei).
Banyak pakar percaya bahawa kita tidak akan melihat perubahan paradigma selama bermakna seperti GPT-1 tidak lama lagi. Tetapi sekali lagi, dunia tidak melihat GPT-1 itu datang, juga.
