Databricks xuất bản Dolly 2.0, Chat-LLM 12B mã nguồn mở đầu tiên có sẵn trên thị trường

Databricks đã công bố ra mắt Dolly 2.0 với tư cách là 12B Chat-LLM mã nguồn mở đầu tiên có sẵn trên thị trường. Dolly là một bước đột phá lớn đối với ngành công nghiệp máy học, cho phép các công ty tạo ra các mô hình ngôn ngữ mạnh mẽ—chẳng hạn như LLM tự hồi quy có hỗ trợ đối thoại — mà không phải đầu tư vào các cụm GPU đắt tiền. Đọc thêm: Cách sử dụng ChatGPT (GPT-4) miễn phí mãi mãi Để có được mô hình ngôn ngữ mã nguồn mở, Databricks cần một bộ dữ liệu lớn, chất lượng cao. Sau khi xem xét ban đầu bộ dữ liệu Alpaca GPT-3 và các bộ dữ liệu nguồn mở khác không cho phép sử dụng cho mục đích thương mại, họ đã quyết định xây dựng bộ dữ liệu chất lượng cao của riêng mình. Để làm được điều này, họ đã tuyển dụng 5.000 người và yêu cầu họ viết một số ví dụ sẽ được sử dụng để đào tạo một LLM tự thoái lui có khả năng chỉ tiếp tục văn bản và không tiến hành đối thoại. Với sự trợ giúp của các ưu đãi lớn, chẳng hạn như tiền thưởng cho việc viết các ví dụ hay nhất, họ đã có thể tập hợp một bộ dữ liệu mẫu 15.000 ấn tượng. Databricks đã thực hiện bước tiếp theo và kết hợp mô hình ngôn ngữ Pythia-12B của EleutherAI với giấy phép MIT và đào tạo lại nó trên tập dữ liệu của riêng họ, dẫn đến Dolly 2.0. Dolly 2.0 đã được phát hành theo giấy phép MIT, cùng với mã đi kèm. Với sự ra mắt của Dolly 2.0, ngành công nghiệp máy học hiện có một công cụ mạnh mẽ để tạo ra các mô hình ngôn ngữ mạnh mẽ theo cách tiết kiệm chi phí. Điều này có thể được sử dụng bởi các công ty và cá nhân, những người đang tìm cách tạo ra các ứng dụng mạnh mẽ có thể hiểu và xử lý ngôn ngữ phức tạp. Nhìn chung, sự ra mắt của Dolly 2.0 với tư cách là Chat-LLM 12B mã nguồn mở đầu tiên có sẵn trên thị trường là một cột mốc quan trọng đối với ngành công nghiệp máy học. Bằng cách tận dụng giấy phép MIT và tạo tập dữ liệu chất lượng cao của riêng mình, Databricks đã làm cho các công ty cũng như cá nhân có thể tiếp cận các mô hình ngôn ngữ mạnh mẽ. Dolly 2.0 đại diện cho cuộc cách mạng hóa ngành công nghiệp và là một bước tiến quan trọng đối với máy học. Người dùng hiện đang chờ các nhà phát triển định lượng Dolly thành 4 bit và tăng tốc để chạy trên CPU, cũng như phản hồi từ OpenAssistant, dự kiến sẽ cung cấp mô hình của họ trong vài ngày tới. NTIA đang yêu cầu công chúng bình luận về các quy định có thể áp dụng để điều chỉnh các hệ thống AI như ChatGPT để giúp chính quyền Biden đảm bảo rằng chúng hoạt động như đã hứa. NTIA đã đưa ra một tuyên bố liên quan đến việc xây dựng quy tắc về trách nhiệm giải trình của AI, điều này có thể ngăn ngừa những rủi ro trong tương lai và giảm thiểu rủi ro từ các mối đe dọa giả định. Đọc thêm về AI: Databricks công bố Dolly, một đối thủ cạnh tranh ChatGPT mã nguồn mở “ngân sách” khác Chi phí đào tạo mô hình AI dự kiến sẽ tăng từ 100 triệu đô la lên 500 triệu đô la vào năm 2030 OpenFlamingo: Khung hình ảnh thành văn bản mã nguồn mở mới từ Meta AI và LAION Bài đăng Databricks xuất bản Dolly 2.0, 12B Chat-LLM mã nguồn mở thương mại đầu tiên xuất hiện đầu tiên trên Metaverse Post.